Aprendizagem Autom

1
Aprendizagem Automática

• Uma Introdução

Cristina Mota Instituto Superior Técnico L2F
Inesc-ID New York University
2
O que é Aprendizagem Automática?
The field of Machine Learning is concerned with
the question of how to construct computer
programs that automatically improve with
experience (Mitchell, 1997)
Machine learning studies automatic techniques
for learning to make accurate predictions based
on past observations (Schapire, 2001)
3
Exemplo
Problema Filtrar as mensagens electrónicas de
modo a reconhecer SPAM
Abordagem de Aprendizagem Automática
1 Reunir tantos exemplos quanto possível de
SPAM e não-SPAM 2 Fornecer esses exemplos,
previamente classificados (S/NS), ao algoritmo
favorito de Aprendizagem que automaticamente irá
produzir uma classificação ou regra de predição 3
Dado um novo exemplo, não classificado, a regra
tenta atribuir uma classificação O objectivo é
produzir uma regra que faça predições tão
precisas quanto possível relativamente a novos
exemplos.
4
Definição do problema
Classe de tarefas
Medida de desempenho a ser melhorada
Fonte de aprendizagem
Problema de aprendizagem de Reconhecimento de EMs
Tarefa T Identificar e classificar EMs em
textos Medida de desempenho D Medida-F Fonte de
aprendizagem E Texto previamente classificado
5
Desenho do sistema

• Escolher
• a experiência de treino Como?
• uma função alvo O quê?
• uma representação para a função alvo
• algoritmo de aproximação da função
• estimar valores de treino
• ajustar os valores
• desenho final

6
Questões
Que algoritmos existem para aprender funções alvo
genéricas a partir de exemplos de treino? Em
que condições converge o algoritmo, havendo dados
de treino suficientes? Que algoritmos se
comportam melhor face a que tipo de problemas e
representações?
Que quantidade de dados de treino é necessária?
Que limites genéricos podem ser encontrados que
relacionem a confiança nas hipóteses aprendidas
e a quantidade de experiência de treino e
natureza do espaço de hipóteses do aprendiz?
Quando e como é que conhecimento anterior mantido
pelo aprendiz pode guiar o processo de
generalização a partir de exemplos? Pode o
conhecimento anterior ser útil mesmo quando só
está aproximadamente correcto?
7
Desenho do sistema
Qual é a melhor estratégia para escolher a
experiência seguinte mais útil? Como é que a
escolha dessa estratégia altera a complexidade do
problema de aprendizagem?
Qual é a melhor forma para reduzir a tarefa de
aprendizagem a um ou mais problemas de
aproximação de funções? Ou seja, que funções
específicas deve o sistema tentar aprender?
Pode este mesmo processo ser automatizado?
Como é que o aprendiz pode automaticamente
alterar a sua representação para melhorar a sua
capacidade de representar e aprender a função
alvo?
8
Paradigmas de Aprendizagem
COMPUTACIONAL Existe uma representação simbólica
manipulada por um sistema de inferência
Dedutivo Conhecimento inferido a partir do que já
existe, mas que estava implícito. O novo
conhecimento é sempre verdadeiro. Com base em
apenas um exemplo, cria novas regras. Indutivo
Obtenção de conhecimento instrinsecamente novo. O
novo conhecimento pode não ser verdadeiro. Usa
técnicas de generalização. Usa vários exemplos
para criar novas regras. Analógico Dado um outro
problema e a sua solução, relaciona os dois
problemas para chegar a uma nova solução. É
necessário descobrir problemas análogos ao que se
tem em mãos.
Mecanismo de Inferência
9
Paradigmas de Aprendizagem
COMPUTACIONAL Existe uma representação simbólica
manipulada por um sistema de inferência
Aprendizagem de conceitos (Concept Learning)
aquisição da definição de uma categoria genérica
a partir de exemplos positivos e negativos dessa
categoria.
Decision Tree Learning Método para aproximar
funções de valores discretos que é robusto a
dados com ruído, capaz de aprender expressões
disjuntivas. Ex ID3, ASSISTANT, C4.5
Adequados para problemas com as seguintes
características

• Instâncias representadas por pares
  atributo-valor
• A função alvo tem saídas discretas
• Pode ser necessário descrições disjuntivas
• Os dados de treino podem conter erros
• Os dados de treino podem conter valores
  desconhecidos

10
Paradigmas de Aprendizagem
NEURONAL Inspirado no funcionamento do cérebro
Perceptrão de Rosenblatt
Regra de Aprendizagem ai(n1) ai(n)-?xi(o-d)
11
Paradigmas de Aprendizagem
NEURONAL Inspirado no funcionamento do cérebro
ADALINE ADAptive LINear Element
Regra de Aprendizagem (delta rule) ai(n1)
ai(n)-??xik(ok-dk)
Batch
(LMS Least Mean Squares) ai(n1)
ai(n)-?xik(ok-dk)
Online
12
Paradigmas de Aprendizagem
NEURONAL Inspirado no funcionamento do cérebro
Perceptrão multicamada para a frente
1
b0
1
a0
S3
y3
x1
?
a1
S1
y1
?
bn
an
xn
1
d1
d0
1
S4
y4
?
c0
d2
x1
c1
S2
y2
?
cn
xn
Aprendizagem Retropropagação
13
Paradigmas de Aprendizagem
NEURONAL Inspirado no funcionamento do cérebro
Adequados para problemas com as seguintes
características

• Instâncias representadas por muitos pares
  atributo-valor
• Funções com valores reais, discretos e
  vectoriais
• Os dados de treino podem conter ruído
• É aceitável ter tempos de processamento grandes
• Possa ser necessário uma rápida avaliação da
  função alvo
• A (in)capacidade de humanos compreenderem a
  função alvo não é importante

14
Paradigmas de Aprendizagem
GENÉTICO Inspirado na teoria de evolução das
espécies
População Inicial
Selecção Natural
Função de adaptação
X ?
2/9
1/3
1/3
1/9
15
Paradigmas de Aprendizagem
GENÉTICO Inspirado na teoria de evolução das
espécies
População Inicial
Selecção Natural
Função de adaptação
X ?
Recombinação
Pontos de corte
16
Paradigmas de Aprendizagem
GENÉTICO Inspirado na teoria de evolução das
espécies
População Inicial
Selecção Natural
Função de adaptação
X ?
Recombinação
Pontos de corte
17
Paradigmas de Aprendizagem
GENÉTICO Inspirado na teoria de evolução das
espécies
População Inicial
Selecção Natural
Função de adaptação
X ?
Recombinação
Pontos de corte
Mutação
Frequência
18
Paradigmas de Aprendizagem
GENÉTICO Inspirado na teoria de evolução das
espécies
Nova População
Selecção Natural
Função de adaptação
X ?
Recombinação
Pontos de corte
Mutação
Frequência
FIM Solução óptima ou suficientemente boa
19
Paradigmas de Aprendizagem
EMERGENTE Inspirado na organização das sociedades
Depende de um autómato celular (rede de células),
em que cada célula tem um estado que das células
vizinhas e é fixado por um conjunto de regras
As transições de estado de um autómato celular
dão-se em paralelo
20
Problema da Generalização
Validação Cruzada
Erro
x
21
Aprendizagem em PLN
Brill Yarowsky Mikheev Borthwick