Umel

1
Umelé neuronové sítez pohledu rozpoznávání

• Václav Hlavác
• Centrum strojového vnímání
• Katedra kybernetiky FEL CVUT
• hlavac_at_fel.cvut.cz

Podekování inspirace a obrázky z prednášek mnoha
jiných
2
Motivace (1)

• Prispet k porozumení fungování mozku
• Mozek je složitejší než cokoliv jiného, cemu
  clovek porozumel.
• Mozek je složen z živých bunek urcených ke
  zpracování informace, ale není navržen jen k
  tomu. Bunky musí mít radu dalších chování, aby
  zustaly naživu.

3
Motivace (2)

• Najít jiný prístup k pocítání než sekvencní
• Umelá neuronová sít mnoho jednoduchých a
  navzájem propojených procesoru (umelých neuronu).
• Topologie síte graf propojení procesoru do
  znacné míry ovlivnuje výpocet.
• Hodí se na rozpoznávání, detekci pohybu, ...
• Nehodí se na výpocet 3.46 x 2.54 zapamatování
  telefonního seznamu, ...

4
Motivace (3)

• Použít k rešení složitých praktických úloh
• Paradigma ucení na základe príkladu,(paradox
  znalostního inženýrství).
• Metody ucení z príkladu pravdepobne nevysvetlují,
  jak se ucí mozek.
• Duležitý cíl oprít predchozí tri motivace o
  presné matematické modely.

5
Charakteriky síte

• Architektura usporádání uzlu a spojení mezi
  nimi.
• Algoritmus ucení postup, jakým se nastavují
  váhy v jednotlivých spojeních.
• Aktivacní funkce postup, jakým se ze vstupu
  uzlu pocítá jeho výstup, napr.
• synchronní.
• asynchronní.

6
Biologická motivace
7
Biologická motivace (2)

• Lidský mozek obsahuje asi 1011 neuronu.
• Bunecné jádro (soma) má velikost jen 1 až 3 mm.
• Délka dendritu bývá 1 až 3 mm. Bývá jich 100 až
  10000.
• Délka axonu bývá i delší než 1 m.
• Prenos informace mezi neurony uskutecnují synapse
  (elektrochemické vazby, dva typy excitacní
  vybuzující, inhibicní tlumící).
• Mozek spotrebovává 20?30 energie tela, i když
  predstavuje jen asi 2 váhy.

8
Biologická motivace (3)
Snímek neuronu v elektronovém mikroskopu
9
Biologická motivace (4)

• Synapses, Ca influx, release of neurotransmitter,
  opening of post-synaptic channels

10
Architektura síte

• Propojení síte
• úplné
• cástecné
• Pocet vrstev
• Vazby
• dopredné šírení (feedforward) nebo zpetné šírení,
  bez zpetné vazby, stabilní, používá se nejcasteji
• zpetnovazební (rekurzivní) sít, problémy se
  stabilitou

11
Srovnání pocítac x mozek
Pocítac Lidský mozek
Výpocetní jednotka 1 CPU 1011 bunek
Pamet 109 bitu RAM, 1011 bitu na disku 1011 neuronu, 1014 synapsí
Délka cyklu 10-8 sekundy 10-3 sekundy
Šírka pásma 109 bitu za sekundu 1014 bitu za sekundu
Rychlost obnovy 109 výpocetních elementu 1014 neuronu za sekundu
12
Budoucí nadeje NN

• Kombinovat paralelismus neuronu s rychlostí
  výpoctu/prepínání pocítace.

13
Použití NN

• Rozpoznávání (klasifikace) ? prirazení pozorování
  tríde.
• Regrese (aproximace) funkce.
• Predikce ? predpoved nového hodnoty na základe
  casové rady.
• Všechny tri aplikace lze matematicky formulovat
  jako aproximaci funkce (tj. optimalizacní úlohu)
  y f(x, parameters).

14
Obecne o ucení z príkladu
function NEURAL-NETWORK-LEARNING(examples)
returns network network a network with randomly
assigned weights repeat for each e in examples
do O NEURAL-NETWORK-OUTPUT(network, e) T
the observed output values from e update the
weights in network based on e, O, and
T end until all examples are correctly predicted
or stopping criterion is reached return
network
Potíž nebezpecí preucení (overfitting)
15
Perceptron, dve trídy
16
Perceptron a ucení
Perceptron
Data
Chybová funkce
Ucení
Perceptron je schopen se naucit lineární
rozhodovací funkci.
17
Perceptron a XOR

• Rozhodnutí nelze aproximovat lineární funkcí.
• Marvin Minsky Seymour Papert (1969).
  Perceptrons, MIT Press, Cambridge, MA.
• Tato autorita zastavila vývoj v NN na 12 až 15
  let.

18
Znovuzrození NN (konektivismu)

• David E. Rumelhart James L. McClelland (1986).
  Parallel Distributed Processing, Vols. 1 2,
  MIT Press, Cambridge, MA.

Rumelhart McClelland sestavili neurony do
vrstev. Výsledky výpoctu byly predány další
vrstve.

• Tato myšlenka se opírá o dva prulomové nápady
• Skokovou aktivacní funkci perceptronu nahradila
  spojitá funkce (napr. sigmoida)
• Byl navržen nový algoritmus ucení metoda
  zpetného navracení (backpropagation).

19
Vrstvené síte

• Vrstvená sít typu m k1 k2 ... kr n
• se vstupní vrstvou dimenze m
• s výstupní vrstvou dimenze n
• s r skrytými vrstvami.

Príklad sít 4-6-6-6-3
20
Príklad dopredné vrstvené síte
H3
H5
W35 1
W13 -1
W57 1
I1
W25 1
O7
W16 1
I2
W67 1
W24 -1
W46 1
H4
H6
21
Zákl. vlastnost vrstvených sítí

• Umejí realizovat libovolné spojité zobrazení z m
  rozmerného vstupního vektorového do n rozmerného
  výstupního prostoru s libovolnou presností.
• Lze najít príslušné skryté vrstvy síte a hodnoty
  vah.
• Stací dve skryté vrstvy.

22
Hilbertuv 13. problém

• International congress of mathematicians Paris,
  1900.
• Nemecký matematik David Hilbert (1863-1943)
  formuloval 23 nevyrešených problému. Napr.
• Domnenka koreny funkce trí promenných (zde
  a,b,c) nemohou být nahrazeny konecnou superpozicí
  funkcí o dvou promenných.
• A.N. Kolmogorov vyvrátil až roce 1954.

23
Vyvráceno A.N. Kolmogorovem

• První výsledek z 1954. Pro NN je relevantnejší je
  obecnejší výsledek z 1957.
• Ukázal, že každá spojitá funkce více promenných
  (s omezeným definicním oborem) muže být vyjádrena
  jako soucet malého poctu funkcí jedné promenné.

24
Poucení pro praxi NN?

• Výsledek A.N. Kolmogorova ho nedává.
• Jednorozmerné funkce nejsou spojité, což vede k
  nestabilitám síte v závislosti na datech.
• Aktivacní funkce jsou závislé na funkci, kterou
  mají aproximovat.
• Praktické rešení bylo navrženo mezi 1989-1992 a
  prispela k nemu Dr. Vera Kurková z Ústavu
  informatiky AV CR

25
Výpocet hodnoty, aktivní mód

• Cíl najít (približnou) hodnotu zobrazení.
• Vstupní vrstvu ztotožníme se vstupním vektorem.
  Vstupní vrstva nepocítá.
• Hodnoty se propagují vrstvami a ve výstupní
  vrstve se najde výsledek.
• NN jsou nejsou objevné svým aktivním módem
  (výpoctem), ale módem ucení. Zde se hledá sít,
  která výpocet realizuje.

26
Ucení gradientní optimalizace
Optimalizacní kritérium energie
Pravidlo pro zmenu synaptických vah wi
c je krok ucení, obvykle konstanta
27
Vícevrstvý perceptron
Skoková funkce (dovolující jen zapnuto, vypnuto)
je nahrazena spojitými sigmoidními funkcemi
28
Backpropagation neformálne
Které váhy zmenit? O kolik?
Potrebujeme vedet, které váhy nejvíce prispívají
k chybe
d
Output Units
Output Units
?
29
Zpetné šírení (backpropagation)

• 1. Inicializuj váhy síte malými náhodnými císly
• 2. Dokud není splneno kritérium pro zastavení
• 2.1. Pro každý príklad x, y z trénovacích
  dat
• 2.1.1. Spocítej výstup outu pro každý neuron
  u v síti
• 2.1.2. Pro každý neuron v ve výstupní vrstve
  spocítej chybu
• errorv outv (1 - outv) (yv - outv)
• 2.1.3. Pro každý neuron s ve skryté vrstve
  spocítej chybu
• errors outs (1 - outs) ?v?výstup (ws,v errorv
  )
• 2.1.4. Pro každou vazbu vedoucí od neuronu j
  do neuronu k modifikuj váhu vazby
• wj,k wj,k ?wj,k , kde ?wj,k ? errork
  xj,k

30
Backpropagation, ilustrace
Správné trídy
Architektura síte
B
0 pro trídu A
A
1 pro trídu B
Kroky ucení
t150
t50
t200
t100
31
XOR problém - vyrešen
Pridání skryté vrstvy umožnuje NN vyrešit úlohu
XOR.
Skryté neurony fungují jako detektory situací.
Horní skrytý neuron detekuje prípad, kdy je
aktivován alespon jeden vstupní neuron. Dolní
skrytý neuron detekuje situaci, kdy jsou
aktivovány oba vstupní uzly. Výstupní uzel je
aktivován horním skrytým neuronem a vypínán
dolním skrytým neuronem
32
Kohonenova samoorganizující sít

• Zkratka SON (Self-Organizing Network).
• Ucení bez ucitele.
• Myšlenka poprvé od C. von der Malsburg (1973),
  rozvinul T. Kohonen (1982).
• Metoda shlukování. Podobná vstupní data aktivují
  neurony, které jsou blízko sebe.
• Díky schopnosti projekce se SON používají pro
  snížení dimensionality a vizualizaci dat.
• Biologická opora mapy aktivity mozku.

33
Architektura SON

• Výpocetní vrstva je složena z mrížky neuronu.
• Tím je dána topologie.

34
Výpocet v SON

• Jednovrstvá topologie (s prípadnou vstupní a
  výstupní vrstvou).
• Výpocet probíhá na základe kompetice (pro každý
  vstup je aktivní práve jeden vítezný neuron).
  Pravidlo vítez bere vše.
• Ucení po zpracování vstupu se upraví váhy
  neuronu (j), který vyhrálv kompetici
• wji wji(t)qxi (t-1)- wji(t-1)

35
Algoritmus SON (prehled)

1. Náhodne nastav váhy všech neuronu wj.
2. Vyber vstupní vektor x (x1, x2, x3, , xn ).
3. Najdi víteze, tj. porovnej x s váhami wj pro
   každý neuron j.
4. Uprav vítezný neuron, aby se spolu se svým okolím
   v mrížce podobal príkladu x, obvykle wj
   wj(t)qxi (t-1)- wj(t-1), kde q je rychlost
   ucení obvykle klesající.
5. Nastav parametry rychlost ucení a funkci
   zohlednující neurony v okolí.
6. Opakuj od kroku (2) do ustálení vah nebo než
   uplyne predem zvolený pocet kroku samoucení.

36
Vztah VQ a SON

• U vektorové kvantizace (VQ) nezávisí na poradí
  reprezentantu tríd, tj. nezávisí na poradí.
• U SON je pozice reprezentantu (strední hodnota)
  zaznamenána. Tím je zachována topologie. Zkoumané
  datum se zobrazí k blízkému reprezentantuovi v
  mrížce.

37
SOM a shlukování k-prumeru

• Kompetitivní samoucení lze chápat jako on-line
  verzi k-prumeru.
• SOM navíc pridává mrížku a interakce jen v okolí.
• Metoda k-prumeru se hodí pro shlukování. SOM se
  predevším hodí pro ucení variety menší dimenze
  než je dimenze dat (napr. 2D nebo 3D).

38
Aplikace míra chudoby ve svete
39
Aplikace míra chudoby ve svete (2)
40
Príklad odhad geometrie bodu
Inputs coordinates (x,y) of points drawn from a
square Display neuron j at position xj,yj where
its sj is maximum
100 inputs
200 inputs
From les réseaux de neurones artificiels  by
Blayoand Verleysen, Que sais-je 3042, ed PUF
Random initial positions
41
Hopfieldova sít

• Úplná topologie (cyklická)
• Prípustné pouze binární vstupy.
• Používá se
• jako asociativní pamet
• jako klasifikátor
• k optimalizaci
• Ucení wji S xkjxik, k?1,p
• Výpocet probíhá do ustálení stavu (zaruceno).