Problemi di scheduling multi-agente

1
Problemi di scheduling multi-agente

• Alessandro Agnetis, Università di Siena
• Gianluca De Pascale, Università di Siena
• Pitu B. Mirchandani, University of Arizona
• Dario Pacciarelli, Università di Roma Tre
• Andrea Pacifici, Università di Roma Tor Vergata
• Marco Pranzo, Università di Siena

Alessandria, 16 marzo 2007
2
Problemi multi-agente

• Diversi agenti competono per lutilizzo di un
  insieme limitato di risorse produttive o
  logistiche

• Per raggiungere un accordo, gli agenti possono
  negoziare lutilizzo della risorsa

• Un eventuale soggetto centrale può avere parte
  attiva nel problema o essere solo un coordinatore

3

• Treni in competizione per lutilizzo di binari
  Brewer e Plott 1996

4

• AGV in competizione su una rete
• Huang e Hallam 1995

• Job di diversi ordini che competono per luso di
  slot temporali su una macchina --- agenti
  autonomi
• Kutanoglu e Wu 1999, Wellman et al. 2001

• Tipi diversi di segnali (dati, voce) che
  competono per le stesse risorse radio
• Arbib et al. 2002

5
Problemi di scheduling con due agenti

• Due agenti, A e B, possiedono ciascuno un set di
  job che richiedono determinate risorse di
  processamento
• Gli agenti possiedono ciascuno una funzione di
  costo f A(s) and f B(s) rispettivamente
• Ogni funzione di costo dipende soltanto dai job
  del rispettivo agente

6
Problemi multi-agente aspetti

• Situazione iniziale
• Possibilità e modalità di scambio delle
  informazioni tra agenti
• Possibilità di compensazioni/scambi di utilità
  tra agenti

7
Situazione iniziale scenari

• Esiste una allocazione iniziale rispetto alla
  quale solo un insieme limitato di riallocazioni è
  possibile (es. orario ferroviario)
• Non esiste alcuna situazione iniziale, tutti gli
  agenti si presentano contemporaneamente e hanno
  uguale priorità

8
Scambi di informazione scenari

• Tutti gli agenti possono comunicare direttamente
  tra loro informazioni complete riguardanti i
  propri job e le proprie utilità
• Esiste un protocollo di comunicazione e offerta
  (e.g. aste)
• Ciascun agente comunica solo con un sottoinsieme
  di agenti o con un coordinatore

9
Trasferimenti di utilità scenari

• Lutilità degli agenti e i rapporti relativi sono
  tali da consentire una redistribuzione
  dellutilità (e.g. in termini monetari)
• Lutilità degli agenti è espressa in termini che
  non ne consentono una redistribuzione immediata
  (e.g. diverse funzioni obiettivo)

10
Modelli multi-agente

• Giochi cooperativi sequencing games
• Aste
• Wellman et al. (asta ascendente parallela)
• Kutanoglu-Wu (asta combinatoria)
• Bargaining problems estensione dei concetti di
  soluzioni di Nash e Kalai Smorodinski

11
Sequencing games

• Sono particolari giochi cooperativi ad utilità
  trasferibile
• Si studiano situazioni di sequenziamento in cui,
  a partire da uno schedule iniziale s0, i
  giocatori possono formare coalizioni per
  rischedulare i loro job in modo proficuo senza
  danneggiare gli altri giocatori
• In molti casi, il nucleo è non vuoto Curiel,
  Pederzoli and Tijs 1989, Slikker 2003

12
2. MARKET ORIENTED PROGRAMMING
13
Aste - Market Oriented Programming

• La situazione è rappresentata da un modello di
  tipo economico Wellman, Walsh, Wurman, Mc-Kie
  Mason 2002
• Gli agenti si muovono in un mercato i cui beni
  sono i periodi di utilizzo delle risorse
• La comunicazione è limitata alle offerte che
  ciascun agente formula per le risorse

14
Market Oriented Programming - II

• Gli agenti formulano le proprie offerte sulla
  base di valutazioni individuali
• Le uniche informazioni scambiate sono nel formato
  di prezzi e avvengono tra agenti e un
  coordinatore (automatico)
• Lanalisi studia le relazioni tra equilibrio e
  ottimalità

15
Modello di scheduling

• Un insieme G di n time slot
• Un insieme A di agenti compreso lagente
  venditore F0
• Un vettore p1, p2,, pn di prezzi per i vari
  time slot
• Per ogni X?G, un valore vj(X) che lagente j
  attribuisce a X
• I job sono interrompibili

16
Modello di scheduling

• Ciascuna risorsa i ha un reserve price qi, che
  rappresenta il valore della risorsa per il
  sistema se non viene allocata
• Il valore globale di unallocazione è

17
Allocazione ottima

• Una allocazione f è ottima se il suo valore
  globale è massimo
• Lottimalità di una soluzione dipende soltanto
  dallallocazione f e dai valori wj, non dai
  prezzi a cui le risorse possono essere acquisite

18
Prezzi e agenti

• Dato un vettore p di prezzi, la quantità Hj(p)
  misura il massimo guadagno che lagente j può
  conseguire

19
Equilibrio

• Unallocazione f è in equilibrio per un vettore p
  di prezzi se
• 1)
• (ossia, ogni agente consegue il massimo guadagno)

20
Equilibrio

• 2) pi ? qi per ogni slot i allocato
• pi qi per ogni slot i non allocato
• (ossia, anche lagente venditore ha un
  vantaggio)

21
Esempio
pi
6,25
6,25
6,25
3,25
3,25
3,25
3,25
3,25
w116 d1 3 L12
w210 d2 4 L22
w36 d3 2 L31
w414,5 d4 8 L44
qi 3
22
Esempio
pi
6,25
6,25
6,25
3,25
3,25
3,25
3,25
3,25
w116 d1 3 L12
w210 d2 4 L22
w36 d3 2 L31
w414,5 d4 8 L44
w116 d1 3 L12
w210 d2 4 L22
w414,5 d4 8 L44
qi 3
23
Equilibrio e ottimalità

• Teorema Bikhchandani e Mamer 1997, Gul e
  Stacchetti 1999, Wellman et al. 2001
• Se esiste un sistema di prezzi p per cui f è in
  equilibrio, allora f è ottima
• Il viceversa in generale non è vero

24
Esempio
0
1
2
w13 d1 2 L12
w22 d2 2 L21
qi 0
25
Allocazione ottima
p1
p2
0
1
2
w13 d1 2 L12
w22 d2 2 L21
w13 d1 2 L12
qi 0
26
Equilibrio e ottimalità

• Perché f sia in equilibrio, per lagente 2 deve
  essere conveniente non comprare nulla
• Questo si ha solo se p1 ? 2 e p2 ? 2
• Ma allora non può essere in equilibrio per
  lagente 1 !

27
Equilibrio e ottimalità

• Le due condizioni sono equivalenti nel caso più
  particolare di job unitari
• Anche nel caso multiple-deadline

28
Analisi dei protocolli di asta

• Come si può raggiungere una soluzione di
  equilibrio da parte di agenti distribuiti?
• Meccanismi di asta
• Esempio lasta ascendente

29
Asta ascendente

• Gli agenti formulano in modo asincrono offerte
  per ciascuno slot i
• Se lofferta corrente è bi , lofferta successiva
  deve essere pari ad almeno
• ai bi e (ask price)
• Quando non ci sono più offerte, la risorsa è
  allocata al miglior offerente

30
Comportamento degli agenti

• Ciascun agente offre il valore ai per alcune
  risorse, in modo da massimizzare il proprio
  surplus
• Lasta ascendente raggiunge un equilibrio?

31
Esempio
Prezzo corr. 0 0 0
0
1
2
3
w1 20 d1 2 L12
w2 8 d2 3 L22
w3 2,5 d3 3 L31
qi 0, e 1
32
Offerta agente 2
Prezzo corr. 0 0 0
Prezzo corr. 0 1 1
0
1
2
3
w1 20 d1 2 L12
w2 8 d2 3 L22
w2 2,5 d2 3 L21
w2 8 d2 3 L22
qi 0, e 1
33
Offerta agente 1
Prezzo corr. 0 1 1
Prezzo corr. 1 2 1
0
1
2
3
w1 20 d1 2 L12
w2 8 d2 3 L22
w2 2,5 d2 3 L21
w2 8 d2 3 L22
qi 0, e 1
34
Offerta agente 3
Prezzo corr. 1 2 1
Prezzo corr. 1 2 2
0
1
2
3
w1 20 d1 2 L12
w2 8 d2 3 L22
w2 2,5 d2 3 L21
w2 8 d2 3 L22
qi 0, e 1
35
Offerta agente 2
Prezzo corr. 1 2 1
Prezzo corr. 1 2 2
Prezzo corr. 2 2 3
0
1
2
3
w1 20 d1 2 L12
w2 8 d2 3 L22
w2 2,5 d2 3 L21
w2 8 d2 3 L22
qi 0, e 1
36

• Lagente 3 esce di scena
• Perché un sistema di prezzi sia in equilibrio,
  devessere p3 ? 2
• Ad esempio
• p1 8 p2 8 p3 1

37
Equilibrio
Prezzo 8 8 1
0
1
2
3
w1 20 d1 2 L12
w2 8 d2 3 L22
w2 2,5 d2 3 L21
w2 8 d2 3 L22
qi 0, e 1
38
Convergenza di unasta

• Lasta ascendente può non raggiungere un
  equilibrio, anche se esiste
• Può raggiungere unallocazione arbitrariamente
  lontana dallottimo
• Nel caso di job unitari, la distanza tra il
  valore di unallocazione ottima e quella generata
  dallasta è limitata (ke1)

39
3. KUTANOGLU - WU
40
Aste modello di Kutanoglu-Wu

• Il sistema è un job shop
• Un insieme di agenti, ognuno dei quali possiede
  un job, che richiede lutilizzo di alcune
  macchine per alcuni time slot
• I job sono non interrompibili
• Un coordinatore centrale gestisce lasta
  combinatoria

41
Kutanoglu-Wu (II)

• A ogni iterazione, ogni slot su ogni macchina ha
  un prezzo
• In base ai prezzi di ogni slot/macchina (k,t), e
  in base alla propria funzione di utilità, ogni
  agente, risolvendo un problema di ottimizzazione,
  formula la propria migliore offerta

42
Kutanoglu-Wu (III)

• Il banditore raccoglie dunque tutte le offerte,
  le elabora e annuncia i nuovi prezzi delle
  risorse
• Lo scopo del banditore è di convergere verso uno
  schedule ammissibile, per cui i prezzi delle
  risorse più contese vengono aumentati in misura
  del livello di conflitto

43
Kutanoglu-Wu (III)

• Ad esempio, laggiornamento dei prezzi può
  realizzarsi attraverso un semplice meccanismo di
  proporzionalità, ossia
• lktr1 lktr s Dkt

44
Kutanoglu-Wu (IV)

• Il procedimento va avanti fino a raggiungere un
  criterio di arresto
• Lo schedule risultante può non essere ammissibile
• Obiettivo globale non monotono
• Il comportamento può variare molto a seconda del
  pricing scheme e del protocollo usato (regola
  usata per aggiornare i prezzi)

45
4. BARGAINING
46
Bargaining problems

• Due giocatori, A e B, devono scegliere uno di un
  insieme X di possibili agreements
• I giocatori possono comunicare, ma non possono
  trasferirsi utilità
• Questi giochi modellano le situazioni di
  negoziazione

47
Bargaining problems (II)

• La soluzione di un bargaining problem è un
  agreement che soddisfa certe proprietà
  (assiomatiche) che ne fanno un particolare
  candidato a essere il risultato del processo di
  negoziazione

48
Bargaining problems (III)

• A e B sono razionali, i.e., hanno funzioni di
  utilità (o anche value functions) uA(x), uB(x)
  definite su X che soddisfano gli assiomi di
• von Neumann-Morgenstern
• D è il disagreement point (dominato da tutti gli
  altri punti di X)

49
Bargaining problems (IV)

• La teoria della negoziazione studia in che modo
  il risultato finale della negoziazione dipende
  dai parametri del problema e/o dal comportamento
  dei giocatori
• In particolare, la soluzione di Nash tiene conto
  dellutilità dei giocatori e dunque del loro
  atteggiamento rispetto al rischio

50
Soluzione di Nash

• La soluzione di Nash può caratterizzarsi in
  termini delle preferenze dei giocatori
  sullinsieme delle lotterie aventi come premi gli
  elementi di X
• La soluzione di Nash x è unalternativa rispetto
  alla quale nessuno dei due giocatori ha
  abbastanza incentivi a deviare

51
Soluzione di Nash

• È un agreement x tale che, se esiste un
  agreement x e una probabilità p tale che il
  giocatore A preferisce
• L lt p, x 1-p, d gt
• a x,
• allora il giocatore B preferisce
• L lt p, x 1-p, d gt
• a x

52
Soluzione di Nash

• Date le funzioni di utilità dei due giocatori, la
  soluzione di Nash x è tale che
• uA(x) uB(x) uA(x) uB(x)
• per ogni x?X
• La soluzione di Nash è unica se X è compatto e
  convesso

53
Soluzione di Nash

• Se X non è compatto e convesso (e.g. un insieme
  discreto), il concetto di soluzione di Nash può
  ancora definirsi come soluzione che massimizza il
  prodotto delle utilità, ma può non essere unica

54
Soluzione di Nash - dominio discreto
(dA,dB)
S









d






















Non appartiene necessariamente alla frontiera
efficiente
55
Altri concetti di soluzione

• La soluzione di Nash fa riferimento a una
  caratterizzazione dei decisori basata sul loro
  atteggiamento rispetto al rischio (value
  function)
• Consideriamo il caso di decisori indifferenti al
  rischio (relativamente al valore dellindice di
  costo)

56
Equità e vantaggio globale

• Un punto di vista diverso confronta la situazione
  migliore e quella peggiore in assoluto per i due
  decisori (tipicamente la migliore per A è la
  peggiore per B e viceversa)
• Siano zA , zB ,zA0, zB0 , i valori ottimi e
  quelli peggiori per i due giocatori

57
Equità e vantaggio globale

• Data una qualsiasi soluzione s di valore zA e zB
  per i due agenti, si può osservare come si situa
  rispetto agli estremi

58
Equità e vantaggio globale

• I due valori rA e rB indicano a quanto ciascun
  giocatore sta rinunciando rispetto alla
  situazione in cui è da solo
• Dunque, si vuole che rA e rB siano piccoli
  (qualità globale) ma anche che siano il più
  possibile vicini (equità)

59
Equità e vantaggio globale

• Siamo interessati a trovare i due schedule sA e
  sB tali che

60
Equità e vantaggio globale

• La soluzione di Kalai Smorodinski (nel discreto)
  è definita come quello schedule sKS tale che
• r(sKS) min rA (s), rB (s)

61
Soluzione di Kalai-Smorodinsky - dominio discreto
(dA,dB)
(dA,dB)


1





























1
Non appartiene necessariamente alla frontiera
efficiente
62
Scheduling bargaining problems

• Problemi
• Quanto è grande linsieme di tutti gli schedule
  Pareto-ottimi?
• Quanto è complesso trovarne ognuno?
• Quanto è complesso determinare la soluzione di
  Nash e quella di KS?

63
Modello di ottimizzazione vincolato

• 1 f B Q f A
• è il problema di trovare lo schedule s che
  minimizza f A(s) tra quelli tali che
• f B(s) Q

64
Modello bicriterio

• Un altro approccio minimizza una combinazione
  convessa delle funzioni obiettivo dei due agenti
• l f A (1- l) f B

65
I due approcci

• Il modello vincolato può essere iterativamente
  utilizzato per trovare tutte le soluzioni
  Pareto-ottime
• Il modello bicriterio può essere più semplice da
  risolvere ma consente di trovare solo le
  soluzioni estreme o efficienti

66
Soluzioni Pareto-ottime che sono anche soluzioni
del modello bicriterio
67
1SCiB ? Q TmaxA - Esempio
Agente A f A TmaxA Ji pi di 1 5 4 2 3 13 3 4
21
68
Schedule s
Si CiB 8 12 23 43
69
Schedule s
Si CiB 8 12 19 39
70
1 CmaxB ? Q S wiACiA - Esempio
71
Soluzione ottima s
Si wiACiA(s) 96510725428
JiA piA wiA 1 6 9 2 5 7 3 3
4 4 4 5
CmaxB(s) 20
72

• Constr.model Size of P Bicriteria
• fmaxA fmaxB O(n2) O(nAnB)
  O(n4)
• SwjACjA CmaxB NP-hard pseudopol.
  O(n log n)
• SwjACjA TmaxB NP-hard pseudopol.
  NP-hard
• SCjA fmaxB O(n log n) O(nAnB)
  O(n3log n)
• SUjA fmaxB O(n log n) O(nA)
  O(n2log n)
• SUjA SUjB O(n3) O(nA)
  O(n4)
• SCjA SUjB O(nB)
• SwjACjA SUjB NP-hard O(nB)
  NP-hard
• SCjA SCjB NP-hard pseudopol.
  O(n log n)

73

• Constr.model Nash/KS Bicriteria
• fmaxA fmaxB O(n2) O(nAnB)
  O(n4)
• SwjACjA CmaxB NP-hard O(n log n)
• SwjACjA TmaxB NP-hard NP-hard
• SCjA fmaxB O(n log n) O(n3log
  n) O(n3log n)
• SUjA fmaxB O(n log n) O(n2log
  n) O(n2log n)
• SUjA SUjB O(n3) O(n4)
  O(n4)
• SCjA SUjB
• SwjACjA SUjB NP-hard
  NP-hard
• SCjA SCjB NP-hard NP-hard
  O(n log n)

74
Ricerca dei triangoli critici (per WC/WC)

• Per velocizzare lintero processo
• 1. Generiamo i triangoli, ognuno corrispondente
  ad una coppia di soluzioni estreme.
• 2. Identifichiamo un triangolo critico nel
  quale cercare la soluzione desiderata.

75
Triangolo critico di Nash
La soluzione di Nash è qui (da qualche parte)
Questa è la soluzione di Nash
(a), (b) e (c) sono mutuamente esclusive
76
Triangolo critico di Kalai-Smorodinsky
E sufficiente identificare i due
schedule(successivi) s, s tali che
s
s
77
Ricerca in corso

• Algoritmi esatti (branch and bound) per trovare
  soluzioni Pareto-ottime nei casi difficili
• Studio di protocolli di negoziazione per
  giungere ad allocazioni buone senza bisogno di
  rivelare tutta linformazione
• Connessione con altri modelli di negoziazione,
  come aste etc