Entrenament de xarxes neurals per backpropagation

1
Entrenament de xarxes neurals per
back-propagation

• José Ignacio Latorre
• Universitat Barcelona

2
Aprenentatge i xarxes

• Què és una xarxa neural?
• El problema daprendre
• Back-propagation
• Exemples
• Conclusions

3
Què és una xarxa neural?
És una pobre imitació del cervell

• Intel.ligent
• aprendre a partir dexemples
• aprendre de dades pobres
• extrapolació raonable

• Sòlida
• Robust
• Versàtil
• Adaptable

• Ágil
• Velocitat
• Universal

• Útil
• Clasificació
• Interpolació
• Predicció

4

Realitat Ficció
5
Definicions
j
wij
pesos

ti
i
activació
llindar
6
Funció dactivació
1 2 3
Capa 1 Capa2
w21 w22 w23
t2
Z2(2) f ( w21 Z1(1) w21 Z1(1) w21
Z1(1) t2 )

• Funció dactivació
• Únic element no lineal !
• Quina forma ha de tenir?

7
saturació
saturació
resposta lineal
8
Xarxa neural
capa 1 capa 2 capa l .....
Multicapa
Feed forward
9
Què és una xarxa neural?
És una funció
Output Input definició
de la funció

• Pot aprendre?
• És sòlida?
• És flexible, universal,...?

10
Aprendre ?
dada 1 dada 2 resultat
Predicció Reconeixement Clustering ....
Interpolació classificació extrapolació
11
Input
dada in Exemple
dada out
?
Output
Inferència
12
Aprenentatge per back-propagation
Construcció duna funció error exemple
( in(p) out(p) )
p1,...,patterns xarxe
z(1)(p) in(p)
z(n)(p) F( z(1)(p) ) error

Donat un conjunt de dades fix,
E és una funció dels paràmetres de la xarxa
13
w
t
Idea modificar w i t en la direcció de
màxim decreixement d E
14
? E
? E
? E ? ? w ? ? t
? w
? t
2
2
? E
? E
? E
? w a ?
? E - a
? w
? w
? w
? E
? t a ?
? t
? 0
Miracle ? Sempre trobarem el mínim absolut?
Sempre convergirem a un mínim?
15
var 1 var 2 output xarxa
16
Paràmetres de la xarxa arquitectura 2-4-2-1
? .05 ?.4 entrenament
20000 Correl.lacions i error zona
daprenentatge 0.99912
.00010 zona dinterpolació
0.99907 .00013 zona
dextrapolació extrema 0,5963 .18
Estem satisfets ?
17
NO
xarxa neural Funció
interpolant aprenentatge Ajust de
la funció
Hem estat fitant el sin(x) var 1
x var 2 aleatòria
output sin(x) Fitant la funció correcta
tindriam correalció 1 i error 0.
Les xarxes neurals són un producte
del marketing
18
d. Horizontal cell (cat) e. Horizontal cell
(cat) f. Premotor interneuron (locust)
g. Visual amacrine cell (mechanosensory
interneuron- crayfish). h. Multipolar neuron
(fly) i. Visual monopolar neuron (fly). j.
Premotor interneuron (crayfish)..
a. Purkinge cell (human) b. Pyramidal cell
(rabbit) c. Motoneuron (cat)
k. Visual interneuron (locust)
19
(No Transcript)