Title: Neur
1Neurônio
2Perceptron AND
EE-214/2011
- Entradas 0 or 1
- Saída é 1 quando ambos x1 e x2 são 1
3Perceptron OR
EE-214/2011
- Entradas 0 or 1
- Saída é 1 quando pelo menos
- um dos dois, x1 ou x2 é 1
4EE-214/2011
Discriminante Linear via Perceptron
5Perceptron XOR
EE-214/2011
- Entradas 0 or 1
- Saída é 1 quando somente
- um dos dois, x1 ou x2 é 1
Não separável por hiperplano
Tentar Associações de Neurônios
6Timeline
EE-214/2011
- 1943 Warren S. McCulloch e Walter H. Pitts,
modelo de neurônios com limiares binários - 1957 Frank Rosenblatt, classe de máquinas com
aprendizado denominados perceptrons - 1969 Marvin Minsky e Seymour Papert
apresentam o problema do XOR. - 1980s David E. Rumelhart, Geoffrey E. Hinton e
Ronald J. Williams, generalized delta rule for
learning by back-propagation para treinamento de
MLP
7EE-214/2011
8Redes Neurais Artificiais
EE-214/2011
9Tipos de Redes
EE-214/2011
- Perceptron Simples
- Perceptron Multicamadas
- Redes de Base Radial
- Redes de Hopfield
- SOM (Kohonen)
- Types of neural networks
- Recurrent network
- The echo state network
- Stochastic neural networks
- Boltzmann machine
- Modular neural networks
- Committee of machines
- Associative neural network (ASNN)
- Instantaneously trained networks
- Spiking neural networks (SNNs)
- Neuro-fuzzy networks
- ART
- Grossberg
ART
Kohonen
Hopfield
MLP
Elman
10Cérebro Humano
EE-214/2011
- Número de Neurônios 4 x 1010 a 1011
- Número de Conexões até 104 per neuron
- Taxa de Mortalidade de Neurônios 105 per day
- Taxa de Aumento de Neurônios 0
- Velocidade nas Sinapses 1 kHz (computer 3.0
GHz) - Reestruturação Bebê lt 2anos ? 106
connections/s - Consumo de Energia 10-16 J/operação/s
(computador ? 10-6)
- Adaptação por meio de aprendizado
- Comportamento sensível ao contexto
- Tolerância a incertezas
- Capacidade de manipular informações incompletas
- Grande capacidade de memória
- Capacidade de processamento em tempo real
11Vantagens de Redes Neurais Artificiais
EE-214/2011
- A prendizado a partir de dados, sem necessidade
de Engenheiro de Conhecimentos - Capacidade de generalização
- Capacidade de tratar multicolinearidade
- Obtenção de modelos a partir de dados ruidosos
- Obtenção de modelos a partir de dados incompletos
- Permite tratar modelos não lineares
- Permite tratar dados discontínuos
- Sem dependência do tipo de distribuição
- Computação simples em arquitetura massivamente
paralela - Processamento rápido no modo de aplicação
- Apresenta conhecimento distribuído
- Tolerante a falhas nos nós
- Pode ser dinâmico
12Principais Desvantagens de Redes Neurais
Artificiais
EE-214/2011
- Dificuldade de interpretação (caixa preta)
- Dificuldade de debug, por causa da representação
distribuída - Treinamento pode ser lento
- Dificuldade em definir topologia
- Treinamento pode falhar por captura em um mínimo
local - O problema pode não ser descritível em termos de
números
13Aplicações de RNA
EE-214/2011
- Classificação
- Agrupamento
- Aproximação de funções
- Previsão
- Otimização
- Memória endereçável por conteúdo
- Controle
- outros ...
14Aplicações de RNA
EE-214/2011
- Classificação
- Agrupamento
- Aproximação de funções
- Previsão
- Otimização
- Memória endereçável por conteúdo
- Controle
- outros ...
A tarefa de classificação de padrões é atribuir a
das classes pré-especificadas um objeto ou dado
(como forma de onda vocal ou símbolo manuscrito)
representado por um vetor de caracteristicas.
15Aplicações de RNA
EE-214/2011
- Classificação
- Agrupamento
- Aproximação de funções
- Previsão
- Otimização
- Memória endereçável por conteúdo
- Controle
- outros ...
- O agrupamento (clustering) consiste em colocar os
padrões similares em um mesmo grupo.
16Estruturas de RNA Requeridas para Separação
EE-214/2011
Configurações Possíveis
Classes Não-Convexas
XOR
Estrutura
1 camada
2 camadas
3 camadas
17Aplicações de RNA
EE-214/2011
- Classificação
- Agrupamento
- Aproximação de funções
- Previsão
- Otimização
- Memória endereçável por conteúdo
- Controle
- outros ...
Dado um conjunto de N pares entrada-saída, (x1,
y1), (x2,y2), ..., (xN,yN), gerados por uma
função desconhecida f(x), sujeito a ruído, a
tarefa da aproximação de função é achar uma
estimativa, fRNA(x,W).
18Aplicações de RNA
EE-214/2011
- Classificação
- Agrupamento
- Aproximação de funções
- Previsão
- Otimização
- Memória endereçável por conteúdo
- Controle
- outros ...
Dado um conjunto de N amostras (y(t1), y(t2),
..., y(tN)) de uma sequência no tempo, estimar o
valor de y(tNk), k gt 0.
19Aplicações de RNA
EE-214/2011
- Classificação
- Agrupamento
- Aproximação de funções
- Previsão
- Otimização
- Memória endereçável por conteúdo
- Controle
- outros ...
O problema de otimização consiste em selecionar
um ponto de um conjunto (de pontos viáveis) que
resulta no melhor valor de uma função objetivo.
O ponto pode pertencer a Rn ou em espaço de
funções como L2 (controle ótimo). A função
objetivo J(.) pode ser custo (min) ou retorno
(max). O conjunto de pontos viáveis é
caracterizado por equações h(x) ou inequações
g(x).
20Aplicações de RNA
EE-214/2011
Pelo Conteúdo
Pelo Endereço
- Classificação
- Agrupamento
- Aproximação de funções
- Previsão
- Otimização
- Memória endereçável por conteúdo
- Controle
- outros ...
Endereço Conteúdo
0000 1010110
0001 1100101
0010 1000111
0011 0010100
...
1111 0101111
Endereço Conteúdo
0000 1010110
0001 1100101
0010 1000111
0011 0010100
...
1111 0101111
21Aplicações de RNA
EE-214/2011
Pelo Conteúdo
Pelo Endereço
- Classificação
- Agrupamento
- Aproximação de funções
- Previsão
- Otimização
- Memória endereçável por conteúdo
- Controle
- outros ...
Endereço Conteúdo
0000 1010110
0001 1100101
0010 1000111
0011 0010100
...
1111 0101111
Endereço Conteúdo
0000 1010110
0001 1100101
0010 1000111
0011 0010100
...
1111 0101111
Search
22Aplicações de RNA
EE-214/2011
- Classificação
- Agrupamento
- Aproximação de funções
- Previsão
- Otimização
- Memória endereçável por conteúdo
- Controle
- outros ...
- Dado um sistema dinâmico descrito por
- onde u(t) é a entrada do sistema e y(t) é a
saída, o problema de controle consiste em obter
uma lei de controle u(t) que faça o sistema
evoluir conforme especificações desejadas.
23Métodos de Treinamento (Aprendizado)
24EE-214/2011
Treinamento Supervisionado de RNA
- Particionar os dados em
- Conjunto de Treinamento
- Conjunto de Teste
- Conjunto de Validação
- Ajustar os Pesos
- Variar os pesos de modo que resultem em
diminuição do erro na saída para o dados do
conjunto de treinamento. - Se o erro na saída para o dados do conjunto de
teste começar a aumentar, terminar o treinamento. - Verificar se a rede obtida produz bons resultados
para o cojunto de validação. - Overfitting A rede ajustou-se ao ruído
- Generalização Produz resultados adequados para
dados não utilizados no treinamento (por exemplo,
os do conjunto de teste).
25Métodos de Otimização
EE-214/2011
- Back Propagation (mais utilizado)
- Método dos Momentos
- Métodos Superlineares (Newton, Kalman)
- Algoritmos Bioinspirados (p.ex., Genético)
- Poliedros Flexíveis
- Otimização Multi-Objetivos
- ...
26Algoritmo Back-Propagation
EE-214/2011
27Aplicações de RNA
EE-214/2011
- Classificação
- Agrupamento
- Aproximação de funções
- Previsão
- Otimização
- Memória endereçável por conteúdo
- Controle
- outros ...
28Previsão de Séries Temporais
29Previsão de Séries Temporais
EE-214/2011
Dado um conjunto de N amostras (y(t1), y(t2),
..., y(tN)) de uma sequência no tempo, estimar o
valor de y(tNk), k gt 0.
30EE-214/2011
Propriedade de Aproximação Universal
31Propriedade de Aproximação Universal
- Barron, A. R. Universal approximation bounds for
superpositions of a sigmoidal function, IEEE
Transactions on Information Theory, 39, 1993, pp.
930-945. - Cybenko, G. Approximation by superposition of a
sigmoidal function, Mathematics of Control,
Signals, and Systems, 2, 1989, pp. 303-314. - K. Funahashi, On the approximate realization of
continuous mappings by neural networks, Neural
Networks, v.2 n.3, 1989, pp.183-192. - Hecht-Nielsen, R. Kolmogorov's mapping neural
network existence theorem, In International
Conference on Neural Networks, vol. 3, IEEE,
Washington DC, 1989, pp. 11-14. - K. Hornik , M. Stinchcombe , H. White, Multilayer
feedforward networks are universal approximators,
Neural Networks, v.2 n.5, 1989 , pp.359-366. - J. Park , I. W. Sandberg, Universal approximation
using radial-basis-function networks, Neural
Computation, v.3, n.2, Summer 1991, pp.246-257. - F. Scarselli , A. C. Tsoi, Universal
approximation using feedforward neural networks
a survey of some existing methods, and some new
results, Neural Networks, v.11 n.1, jan, 1998,
pp.15-37.
32Alternativa 1 para Previsão de Séries
Temporais Aproximação de Funções
Se x é nx1 e há N pares (x,y) Fornecer
entradas P na forma x1(1) x1(2) ... x1(N)
... xn(1) xn(2) ... xn(N) Fornecer saida
ou target T na forma y(1) ...
y(N) P... T... Especificar estrutura da
rede no caso new feed forward net
newff(minmax(P),2 15 1) Treinamento com as
entradas P e saidas T net.trainParam.epochs
200 net train(net,P,T) Calcula saidas da
rede para as entradas P Y sim(net,P)
33Alternativa 1 para Previsão de Séries
Temporais Aproximação de Funções
34Alternativa 2 para Previsão de Séries
Temporais Ajuste de Polinômio
35EE-214/2011
Alternativa 3 para Previsão de Séries
Temporais NARMA via RNA
yk fRNA (yk-1,yk-2,...,yk-n,xk,xk-1,xk-2,...,xk-
m)
36Alternativa 4 para Previsão de Séries
Temporais ARMA
37Agrupamento e Classificação de Padrões
38Agrupamento e Classificação
EE-214/2011
A tarefa de classificação de padrões é atribuir a
das classes pré-especificadas um objeto ou dado
(como forma de onda vocal ou símbolo manuscrito)
representado por um vetor de caracteristicas.
39Agrupamento e Classificação
EE-214/2011
A tarefa de classificação de padrões é atribuir a
das classes pré-especificadas um objeto ou dado
(como forma de onda vocal ou símbolo manuscrito)
representado por um vetor de caracteristicas.
40Alternativas para Agrupamento Métodos já vistos
41(No Transcript)
42Muito Obrigado!