Fred

1
Robust Bayes och konkurrerande skolor Stefan
Arnborg, KTH
2
WIRED on Total Information Awareness WIRED
(Dec 2, 2002) article "Total Info System Totally
Touchy" discusses the Total Information
Awareness system. The Total Information
Awareness System and related efforts
received Quote "People have to move and
plan before committing a terrorist act.
Our hypothesis is their planning process has a
signature." Jan Walker, Pentagon spokeswoman, in
Wired, Dec 2, 2002. "What's alarming is the
danger of false positives based on incorrect
data," Herb Edelstein, in Wired, Dec 2, 2002.
För att skapa fred måste manveta hur det ser
utveta hur det fungerar
3
Fred

• Fred är viktigt för oss.
• Krig är inte bra för oss. Om jag fick välja va
  jag vill då skulle jag göra fred. Fred tycker jag
  om. I Love
• FRED. Krig är jätte dåligt.Av Mikaela.

4
Sun Zi
Den som känner sig själv och sin motpart
genomgår hundra strider utan fara. Den som
känner sig själv men inte sin motpart förlorar en
strid för varje seger. Den som varken känner sig
själv eller sin motpart är dömd att förlora varje
strid.
5
Sun Zi
Om han upprättar ett läger på ett
lättillgängligt ställe är det för att vinna andra
fördelar. Om det rör sig i skogen är han på
väg. Många uppsatta hinder på öppen mark
betyder att fienden vill vilseleda. När fåglar
lättar ligger fienden i bakhåll. Uppskrämda djur
betyder att fienden är i rörelse. När dammet yr
i höga och tydliga strängar är det vagnar som är
på väg. När dammet ligger lågt och jämnt är det
fotsoldater. När dammet är utspritt i tunna
strängar samlar fienden ved. När dammet är tunt
och yr kors och tvärs slår fienden läger
6
Bayes metod
Posterior fås ur prior genom multiplicering
med den nya informationens likelihood och
normalisering. Vid en serie oberoende
observationer
posterior blir prior för ny observation,
7
Kombination av evidens
Förutsättning d1 och d2 oberoende betingat av
?. Laplace/Bernoulli parallellkombination vid
ändligt parameterrum uttryck alla likelihoods
och prior som sannolikhetsvektorer över
? Kombinera genom komponentvis multiplikation och
normalisering. Formellt pdf kan betraktas som
(singelton) slumpmängd. Kombinationen är snitt av
slumpmängder betingad att vara icke-tomma.
8
Bayesiansk Beslutsteori (Savage)

• Utfall R beror av osäker l med prior f(l) och
  eget val a
• Nyttan av utfall R är u(R)
• Observerbarhet f(Dl)
• Välj a som maximerar förväntad nytta,

9
Tillämpning PET-kamera
Camera geometrynoise film scene regularity
10
Chapman-KolmogorovDynamiska problem
Grund för Kalman-filtret, där alla ingående
fördelningar är normalfördelningar. Generella
fördelningar kan ofta hanteras med
partikelfilter (sekvensiell Markov Chain Monte
Carlo) Uppskattning av en dynamisk
situation tillstånd ?, observationer d,
likelihood f(d ?), innovation f(?(t)
?(t-1)), rekursion/prior i varje stegIMM flera
filter med olika manöverbrus. Klassificerar
manövertillstånd.
11
Problem med IMM(Smets Fusion 2004)

• Om målets klass kan ändras fritt, tex som vid
  klassning av manövertillstånd,råkar multipla
  modeller fungera bra det filter som är bäst
  anpassat ger klassen.Är också Bayesianskt
  tolkningsbart.
• Om målets klass inte kan ändras momentant, t ex
  klassning av måltyp, är IMM inte bra - utgå i
  stället från Chapman-Kolmogorov

12
Joint Tracking Classification

• Civilflyg, Bombplan, Attackplan (c, b, a)
• Har olika accelerationsprestanda
• Tillstånd position, hastighet, typ
• Manöverbrus typ ändras aldrig,
• Acceleration begränsasochdå

13
Generalisering av Bayes/KalmanHur gör man

• när man inte har någon prior?
• Likelihood går inte att bestämma
  exakt(imprecision)?
• Parameterrummet är vagt, dvs inte samma för alla
  likelihoods (Fuzziness, vagueness)?
• Parameterrummet(och observationsrummet) har
  komplex struktur (enkel struktur är t ex
  Cartesisk produkt av ett antal R och ändliga
  mängder)?

14
Några ansatser...

• Robust Bayes ersätter fördelningar medkonvexa
  mängder av fördelningar (Berger m fl)
• Dempster/Shafer/TBM Beskriver imprecision med
  slumpmängder
• DSm Transformerar parameterrum för attbeskriva
  vagueness.(Dezert/Smarandache)
• FISST FInite Set STatistics Generaliserarobserv
  ations-och parameterrum till produkt av rum
  beskriven som slumpmängd(Goodman, Mahler, Ngyuen)

15
Robust Bayes

• Arbeta med priors och likelihoods som är konvexa
  mängder av sannolikhets-fördelningar (Berger, de
  Finetti, Walley,...) imprecisa
  sannolikheter
• Varje element i posterior består av
  parallellkombinationav ett element i likelihood
  och ett element i prior.
• För beslut använd det element i posterior som
  har störst entropi (Maxent estimat).

16
Ellsbergs ParadoxAmbiguity Avoidance
Urna A innehåller 4 vita och 4 svarta kulor, och
4 av okänd färg (svart eller vit)
Urna B innehåller 6 vita och 6 svarta kulor
?
?
?
?
Du får en krona om du drar en svart kula. Ur
vilken urnavill du dra den?
En precis Bayesian bör först anta hur ?-kulorna
är färgade och sedansvara. Men en majoritet
föredrar urna B även om svart byts mot vit
17
Maximum Entropy - kanonisk pdf i konvex mängd?

• En obalanserad tärning har medelutfall 4.5i
  stället för 3.5. Hur stora är sannolikheterna?
• Jaynes koncentrationsfenomenAv alla sekvenser
  med medelutfall 4.5 har enförbluffande stor
  andel frekvenser nära den fördelning med
  medelutfall 4.5 som har högst entropi Kan man
  alltid ersätta en imprecis fördelningmed
  MAXENT-estimatet?

18
Hur används imprecisa sannolikheter?

• Förväntad nytta för beslutsalternativ blir
  intervall i stället för punkter maximax,
  maximin, maximedel?

u
Bayesian
optimist
pessimist
a
19
Dempster/Shafer/Smets

• Beskriv evidens med slumpmängd över ?.
• Sannolikhetsfördelning över 2 ?.
• Sannolikhet för singelton Belief som allokeras
  för alternativet, dvs sannolikhet.
• Sannolikhet för icke-singelton Belief
  somallokeras till mängden alternativ, men som
  inte kan tillordnas någon av dess delar.
• Kombineras med snitt betingat av att vara
  icke-tomt (Dempsters rule).

20
Correspondence DS-structure -- set of
probability distributions
For a pdf (bba) m over 2?, consider allways of
reallocating the probability mass of
non-singletons to their member atoms This gives
a convex set of probability distributions over
?. Example ?A,B,C
set of pdfs
bba
A 0.1B 0.3 C 0.1AB 0.5
A 0.10.5xB 0.30.5(1-x)C 0.1
for all x?0,1
Can we regard any set of pdfs as a bba? Answer
is NO!! There are more convex sets of pdfs than
DS-structures
21
Representing probability set as bba 3-element
universe
Rounding up use lower envelope. Rounding down
Linear programming Rounding is not unique!!
Black convex set Blue rounded up Red rounded
down
22
Dempster/Shafer/Smets

• För precis (bayesiansk) belief samma somBayes
  metod.
• Kombination av precis och imprecis DS-struktur
  blir singeltonslumpmängd, dvsprecis belief. Så
  är det inte i Robust Bayes!
• Kombination av två imprecisa DS-strukturer Blir
  imprecis, dock mycket smalare än Robust Bayes.

23
An appealing conjecture

• Precise pdf can be regarded as (singleton)
  random set.
• Bayesian combination of precise pdfs corresponds
  to random set intersection (conditioned on
  non-emptiness)
• DS-structure corresponds to Choquet capacity
  (set of pdfs)
• Is it reasonable to combine Choquet capacities by
  (nonempty) random set intersection (Dempsters
  rule)??
• Answer is NO!!

24
Zadehs Paradoxical Example

• Patient has headache, possible explanations are
• M-- Meningitis C-- Concussion T-- Tumor.
• Expert 1 P( M )0 P( C )0.9 P( T )0.1
• Expert 2 P( M )0.9 P( C )0 P( T )0.1
• Parallel comb 0 0
  0.01
• What is the combined conclusion?
  Parallelnormalized (0,0,1)?
• Is there a paradox??

25
Zadehs Paradox (ctd)

• One expert (at least) made an error
• Experts do not know what probability zero means
• Experts made correct inferences based on
  different observation sets, and T is indeed the
  correct answer f(?o1, o2) c
  f(o1?)f(o2 ?)f(?)
• but this assumes f(o1,o2 ?)f(o1 ?) f(o2
  ?) which need not be true if granularity of ?
  istoo coarse (not taking variability of f(oi ?)
  in account).One reason (among several) to look
  at Robust Bayes.

26
Zadehs example
Robust and Dempsters rule
Yagers rule
random set union
Union rule
27
Robust Combination on Zadehs ex -- Expert 2
discounted by 10
Robust rule
maxent
Fixsen/Mahler rule
Dempsters rule
28
Robust Combination on Zadehs ex -- Both
discounted by 5
Robust rule
Dempsters rule
maxent
MDS
Rounded robust
29
Two imprecise operands o1, o2 (red lines), their
pignistic transformations p1, p2 (red
crosses), and robust combinations o1p2 and p1o2
(blue)
p1o2
o1p2
30
o1o2
p1o2
o1p2
p1p2
31
p1p2 ? MDS(o1,o2) ? (p1o2 ? o1p2)
MDS(o1,o2)
32
Consistency of fusion operators
Operands
Robust rule
33
Consistency of fusion operators
Dempsters fusion rule outside robustrounded
polytope!! Fixsen/Mahler (MDS) compatible with
Robust Bayes fusion
Rounded robust
DS rule
MDS rule
34
Fördelning av resultat
35
Jaynes koncentrationsfenomen
10
100
1000
36
FInite Set STatistics

• Särskilt avsedd för problem multiple
  tracking/multiple sensor
• Flera tätt flygande mål. Varierar vid MIRVoch
  missilavfyring.
• Tillstånd är ett variabelt antal
  tillstånds-vektorer för enkla mål
• Problem med symmetrier I FISST är tillståndet en
  slumpmängd ur
• Ska inte förväxlas med DS-struktur.

37
Thats all Folks!

• Bayesianism har starka normativa anspråk
• Dempsters regel inkompatibel med synenpå
  DS-struktur som imprecis sannolikhetsfördelning.
  MDS kompatibelt men underskattar imprecision.
• Förståelsen av komplexa tillståndsrum
  otillräcklig Behövs antingen enklare teori
  (gränsvärdesteknik för kompakta metriska rum)
  eller måtteori i ingenjörsutbildningen.