ELABORAZIONE DI SEGNALI TEMPORALI CON RETI NEURALI

1
ELABORAZIONE DI SEGNALI TEMPORALICON RETI
NEURALI
2
SD-1
SISTEMI STATICI E DINAMICI
Sistemi statici ? risposta istantanea a partire
dallinput attuale ? risposta costante nel
tempo a input costante nel tempo
Sistemi dinamici ? risposta non istantanea
allinput ? risposta costante nel tempo ad un
input costante SOLO DOPO un Tempo di
Stabilizzazione
(SISTEMI LINEARI)
3
SD-2
RETI STATICHE E DINAMICHE
Reti Neurali Statiche (MLP)
pesi ? memoria a lungo termine dei dati di
training
pesi ? memoria a lungo termine dei dati di
training
Reti Neurali Dinamiche
dati ? memoria a breve termine (informazione sul
passato)
Importante differenza le reti dinamiche sono
sensibili alla sequenza di presentazione
dellinformazione.
4
SD-3
TIME LAGGED FEEDFORWARD NETWORK
Le Reti neurali dinamiche includono
esplicitamente una relazione temporale nel
mappaggio I/O
Time Lagged Feedforward Network (TLFN)

Filtro FIR
MLP
Rappresentazione nel tempo
Mappaggio NON LINEARE
Focused TLFN concentrano la memoria
sullingresso. (struttura semplificata)
5
SD-4
6
SD-5
FOCUSED TIME DELAY NEURAL NETWORK
Sostituiamo allinput di un MLP una linea di
ritardo
Focused Time Delay Neural Network (FTDNN)
STRATO FILTRANTE ? i filtri adattativi sono in
numero pari ai neuroni dello strato nascosto
7
SD-6
Applicazioni Classificazione Identificazione P
redizione
Osservazione Una FTDNN è equivalente ad un MLP
che ha in ingresso anche dei campioni passati
Una FTDNN può essere addestrata con la BP statica
Una FTDNN è un ottimo compromesso tra SEMPLICITA
e POTENZA di ELABORAZIONE
8
SD-7
IL NEURONE MEMORIA
g(.) è una funzione di ritardo
MEMORIA A BREVE TERMINE
Le uscite sono una versione ritardata di y0
Neurone linea di ritardo
Neurone-memoria
Neurone context
9
SD-8
IL NEURONE LINEA DI RITARDO
La memoria è implementata dal ritardo
Il contributo di un ingresso precedente listante
n-D non è rappresentato in uscita.
10
SD-9
IL NEURONE CONTEXT
La memoria è implementata dalla retroazione
11

• DEFINIZIONI
• Profondità della memoria M

SD-10
Momento del primo ordine di gD(n)
gD(n) d(n-D) La risposta impulsiva totale della
linea di ritardo è data dalle D convoluzioni
successive di g( ).

• Risoluzione della memoria R
• Numero di taps per campione (o unità di tempo)

Per D taps RMD
12
SD-11
PROPRIETA
d(0) ingresso
? 0 m ? D
h(m)
0 m gt D
D lunghezza della h regione di supporto

• Brusca transizione dalla memoria alloblio in n
  D1 ? la risposta perde tutta linformazione
  dellimpulso
• Una modifica della profondità di memoria comporta
  una modifica della topologia
• I campioni passati sono conservati esattamente

13
SD-12

• Cè un solo tap per unità di tempo
• Risoluzione della memoria R1
• Numero di taps per campione (o unità di tempo)

• Profondità della memoria MD

(Momento del primo ordine di gD(n)) Numero di
campioni per i quali loutput ricorda limpulso
in n0
14
SD-13
d(0) ingresso
h(m) ?0 m??
La regione di supporto è infinita. In realtà h
va a zero con una costante di tempo h(m) ? 0 m gt
m

• Graduale transizione dalla memoria alloblio
• Una modifica della profondità di memoria può
  essere effettuata semplicemente agendo su m
• I campioni passati non sono conservati
  esattamente
• (loutput passato è pesato e sommato agli input)

15
SD-14
La regione di supporto è infinita. In realtà h
va a zero con una costante di tempo t h(m) ? 0 m
gt m
(stabile)
0 lt m lt 1
RMD1
16
SD-15
IL FILTRO MEMORIA
Linea di ritardo i pesi sono indipendenti da
asse a asse Context i pesi NON sono indipendenti
da asse a asse Il campione più recente è pesato
da 1-m Il successivo da (1-m)2 Etc.
Peso max
17
SD-16
LA MEMORIA GENERALIZZATA
g0(n) assegnata
indice del tap
Scelta di g(n) ? scelta degli assi dello spazio
di proiezione degli input
x(n)
x(n) input
Ogni traccia di memoria è la convoluzione della
precedente e di g(n)
18
SD-17
Neurone linea di ritardo
(TDNN)
Le tracce di memoria immagazzinano i campioni
passati dellinput
Neurone context
Memoria generalizzata a singolo tap
Dalla
19
SD-18
IL NEURONE MEMORIA GAMMA
G(z)
1-m
u(n)
z -1
G(z)
m

g0(n)
g1(n)
gD (n)
D 1 ? neurone context m 1 ? neurone linea di
ritardo
2/m
polo z 1-m molteplicità k
20
SD-19
Lasse dei tempi è scalato da m. M e D sono
disaccoppiate
IMPORTANTE PROPRIETA
Adattare m sulla base dell MSE consente di
scegliere la migliore scala dei tempi
La memoria gamma può rappresentare N campioni
passati, in D tap, con N gt D
Rappresentazione più parsimoniosa rispetto alla
linea di ritardo
Rm
21
SD-20

• Esempio
• Unapplicazione richiede una memoria di 100 (M)
  campioni
• MA
• sono sufficienti 3 parametri liberi per il modello

La linea di ritardo dovrebbe avere D100 e 97
pesi nulli Lunità context può disaccoppiare M
dai parametri liberi del sistema, ma può
modellizzare solo uno dei modi dellinput La
memoria gamma produce uno spazio di dimensione
M100 grazie al parametro m, con un numero di
taps DltM
22
SD-21
IL FILTRO GAMMA
Topologia lineare ottenuta pesando i tap della
memoria gamma Topologia globalmente
feedforward localmente IIR
E simile al combinatore lineare Spazio di
proiezione di taglia uguale alla dimensione del
filtro Output proiezione sul vettore peso
Basi convoluzione dellinput con le basi gamma
23
SD-22
PROPRIETA DEL FILTRO GAMMA
24
SD-23
RETI TIME LAGGED FEEDFORWARD (TLFN)

• Connessione feedforward di neuroni memoria e non
  linearità
• I neuroni memoria possono essere di qualunque
  tipo
• Godono delle proprietà delle reti feedforward
  (ex. Stabilità)
• Elaborano informazione temporale

25
SD-24
RETI TIME LAGGED FEEDFORWARD FOCUSED (focused
TLFN)
I neuroni memoria compaiono solo nello strato in
ingresso
I STADIO DI RAPPRESENTAZIONE LINEARE (FILTRO
MEMORIA)
II STADIO MAPPANTE NON LINEARE (MLP)
Loutput dello stadio di rappresentazione è la
proiezione dellinput nello spazio di proiezione
Linput allMLP è loutput allo stadio di
rappresentazione
26
SD-25
TLFN focused con linea di ritardo (TDNN)
I STADIO ? trova la migliore proiezione
dellinput in uno spazio di proiezione
intermedio (spazio del segnale) pesi
ottimali ? proiez. ortogonale
II STADIO ? approssima funzioni arbitrariamente
complesse nel nuovo spazio del segnale
La TDNN è un approssimatore universale di
funzioni nello spazio del segnale
(con regione di supporto finita)
La dimensione dellinput del MLP è quella dello
spazio di proiezione
27
SD-25
IDENTIFICAZIONE DI SISTEMI NON LINEARI
Il modello neurale deve approssimare f usando un
set di basi definite dalla topologia del sistema
d(n)
?
x(n)
Modello
y(n)
e(n)

28
SD-26
x(n)
Z-1
y(n1)
Z-1
TDNN
x(n)
Z-1
y(n1)
Z-1
29
SD-27
x(n)
Struttura più generale
Z-1
y(n1)
Z-1
Z-1
Z-1
E necessario scegliere opportunamente le basi
30
SD-28
TLFN focused con neurone - context

• I campioni passati sono conservati indirettamente
  (loutput passato è pesato e sommato agli input)

• Topologia ricorrente

ricorrenza LOCALE Stabilità ottenibile facilmente
vincolando m

• Minore versatilità rispetto alla TDNN

31
SD-29
TLFN focused con memoria -gamma

• Approssimatore di funzioni universale
• MSE minore rispetto ad una focused TDNN con lo
  stesso numero di parametri, nel caso di lunghe
  regioni di supporto (impianti reali)

32
SD-30
ADDESTRARE TLFN focused
Non hanno parametri adattabili nella struttura di
memoria ? BP statica
TDNN focused
TLFN focused
33
SD-31
PREDIZIONE ITERATA
Predizione di serie temporali prodotte da modelli
non lineari
Primo passo verso la modellizzazione del sistema
dinamico
Identificazione del sistema che ha creato la
serie temporale
1) Predizione di un passo
2) Predizione iterata