Summary

1
Summary

• Information Extraction Systems
• Evaluation
• Multilinguality
• Adaptability
• Introduction
• Learning of rules
• Learning of statistical models
• Multistrategy learning
• Wrapper induction

2
Introducción
Adaptability

• Un sistema de EI requiere conocimiento específico
  sobre el dominio de aplicación...
• Adaptación es una cualidad fundamental dada la
  gran dependencia del dominio de la tarea de EI.
• La elaboración manualmente de un sistema
  específico es impracticable.

3
Adaptability
Introducción

• Normalmente, se deben afinar o crear de nuevo los
  recursos
• Lexicones
• Ontologías
• Base de patrones
• Estructura de salida (templetas)

4
Introducción
Adaptability

• Forma de llevar a cabo el afinado
• manualmente
• automáticamente
• semiautomáticamente
• El Aprendizaje Automático se impone como
  alternativa para conseguir la adaptabilidad de
  los sistemas de EI.

5
Introducción
Adaptability

• Afinado (tuning) de lexicones y ontologías
• elementos a modificar
• palabras
• acepciones
• preferencias verbales (posibles alternancias de
  diátesis, régimen proposicional, restricciones
  selectivas, ...)
• dos aproximaciones (Wilks97)
• Lexicón antiguo corpus del (nuevo) dominio gt
  lexicón nuevo
• corpus del (nuevo) dominio gt lexicón nuevo
• Proceso
• manual (el más corriente) con editores
  especializados
• automático Riloff and Jones99

6
Introducción
Adaptability

• Creación o afinado de la base de patrones
• Uso de herramientas interactivas para la
  adquisición manual
• NYU Interactive tool (PET inteface)
• R.Yangarber, R.Grishman97
• Usuario y sistema interaccionan para extender y/o
  generalizar sintácticamente (metarreglas) y
  semánticamente (jerarquía conceptual) el o los
  patrones implicados
• El usuario proporciona un ejemplo (o lo extrae
  del corpus)
• El usuario codifica la información a extraer a
  partir del ejemplo
• El sistema utiliza la base actual de patrones
  para crear una descomposición estructural del
  ejemplo
• Uso de técnicas de ML

7
Introducción
Adaptability

• Variedad de innovaciones en el área de la EI que
  incluyen
• HMMs y otras técnicas estadísticas para obtener
  modelos de textos
• active learning y bootstrapping para trabajar
  con un conjunto de entrenamiento reducido
• boosting para mejorar el rendimiento del
  aprendizaje

8
Introducción
Adaptability

• Variedad de innovaciones en el área de la EI que
  incluyen
• Tendencia a crear algoritmos que puedan tratar
  distintos tipos de documentos.
• Estudio de cómo las técnicas de data mining
  pueden mejorar la EI y viceversa.

9
Introducción
Adaptability

• Uso de técnicas de ML en la EI para...
• tareas de bajo nivel
• POS tagging
• segmentación
• chunking
• dependencias sintácticas entre unidades
• NERC
• etiquetaje de roles semánticos
• correferencias
• aprendizaje automático de patrones de EI
• Basadas en la explotación de corpus (Cardie97,
  Mooney and Cardie99, Turmo et al.06)

10
Adaptability
Introducción

• Clasificaciones de métodos de aprendizaje de
  patrones de EI
• tipo de conocimiento aprendido
• (reglas, árboles de decisión, HMM, hiperplanos
  separadores, ...)
• tipo de documentos de entrenamiento
• (texto no restringido, texto estructurado o
  texto semi-estructurado)
• grado de supervisión
• (instance-based learning, observation-based
  learning, active-learning, bootstrapping, ...)
• paradigma de aprendizaje
• (propositional learning, relational learning,
  statistical learning, ...)
• ...

11
Adaptability
Introducción

• Clasificaciones de métodos de aprendizaje de
  patrones de EI
• tipo de conocimiento aprendido
• (reglas, árboles de decisión, HMM, hiperplanos
  separadores, ...)
• tipo de documentos de entrenamiento
• (texto no restringido, texto estructurado o
  texto semi-estructurado)
• grado de supervisión
• (instance-based learning, observation-based
  learning, active-learning, bootstrapping, ...)
• paradigma de aprendizaje
• (propositional learning, relational learning,
  statistical learning, ...)
• ...

12
Adaptability
Introducción

• Anotación de ejemplos para aprendizaje
  supervisado
• generalmente preproceso de corpus,
• (POS, semántica léxica y/o roles sintácticos)
• identificar palabras activadoras, y
• asociar un slot de la estructura de salida a cada
  elemento a extraer del ejemplo

13
Adaptability
Introducción

• Anotación de ejemplos para aprendizaje
  supervisado
• generalmente preproceso de corpus,
• (POS, semántica léxica y/o roles sintácticos)
• identificar palabras activadoras, y
• asociar un slot de la estructura de salida a cada
  elemento a extraer del ejemplo

14
Summary

• Information Extraction Systems
• Evaluation
• Multilinguality
• Adaptability
• Introduction
• Learning of rules
• Learning of statistical models
• Multistrategy learning
• Wrapper induction

15
Aprendizaje de reglas
Adaptability

• Supervisados proposicionales representan los
  ejemplos en términos de la lógica proposicional.
• Especialización heurística
• AutoSlogRiloff93
• Generalización de ejemplos
• PALKAKim,Moldovan95, CRYSTAL Soderland et
  al.95,WAVE Aseltine99, Chai and Biermann 97,
  TIMES Chai et al.99

16
Adaptability
Aprendizaje de reglas
AutoSlog (Riloff96)

• Especialización de meta-patrones predefinidos,
  independientes del dominio, que actúan sobre las
  palabras activadoras y su contexto inmediato.
• Adquisición de reglas single-slot
• (Concept Nodes )

17
Adaptability
Aprendizaje de reglas
AutoSlog (Riloff96)
Concept trigger Position constraints
enabling Conditions
verb ltdirect-objectgt
18
Adaptability
Aprendizaje de reglas
AutoSlog (Riloff96)

• Problemas
• reglas muy específicas.
• baja compresión
• baja cobertura
• sólo se obtienen reglas single-slot
• mayor numero de plantillas parcialmente
  extraidas con respecto a otros métodos

19
Adaptability
Aprendizaje de reglas
CRYSTAL (Soderland et al.95)

• Basado en formación de conceptos (Concept
  Induction Learning, Michalski).
• Adquisición de reglas multi-slot (Concept Nodes)
• Algoritmo de cobertura bottom-up.
• Ejemplo regla específica (máxima
  especificidad)
• Se relajan iterativamente las restricciones de
  las reglas actuales integrando una nueva regla
  específica.

20
Adaptability
Aprendizaje de reglas
CRYSTAL (Soderland et al.95)

• Preproceso
• análisis sintáctico parcial para obtener
  constituyentes principales
• (S, V, O ,OI, PP)
• análisis léxico-semántico
• (adhoc para el dominio)

21
Adaptability
Aprendizaje de reglas
CRYSTAL (Soderland et al.95)

• Concept node

concept type succession-event constraints SUB
J class include ltPersongt extract
Person_In VERB terms include NAMED
mode passive OBJ terms include
OF class include ltOrganizationgt
extract Organization
22
Adaptability
Aprendizaje de reglas
CRYSTAL (Soderland et al.95)
RULES null Derive an initial definition from
each positive example For each initial definition
D not covered by RULES loop Dthe most
similar initial definition to D if D null,
exit Uthe unification of D and D Test U on
the training set if the error rate of U gt
error_tolerance exit DU add D to RULES Return
RULES
23
Adaptability
Aprendizaje de reglas
CRYSTAL (Soderland et al.95)

• Cómo se computa la unificación?
• relajando restricciones de los constituyentes
• términos, clases semanticas, modificadores,
  preposiciones, modo (activa/pasiva,
  positiva/negativa)
• Cómo se calcula la similaridad?
• s(D,D) relajaciones mínima para obtener la
• unificación entre D y D

24
Adaptability
Aprendizaje de reglas
CRYSTAL (Soderland et al.95)

• Ventajas respecto a AutoSlog
• mayor compresión
• mayor cobertura
• mayor expresividad
• reglas multi-slot y single-slot
• Problemas
• jerarquía semántica ad-hoc
• generalización semántica muy controlada
• (ej. no se generaliza semanticamente el verbo)

25
Adaptability
Aprendizaje de reglas
TIMES (Chai et al.99)

• Algoritmo de fuerza bruta. A partir de cada
  ejemplo proporcionado por el usuario, el sistema
  propone de forma automática una serie de posibles
  generalizaciones. Cuando una regla propuesta
  supera una cota de cobertura en el conjunto de
  entrenamiento, el sistema la incorpora a su base
  de reglas.

generalización semántica
WordNet
combinación permutación
generalización sintáctica
26
Aprendizaje de reglas
Adaptability

• Supervisados relacionales representan los
  ejemplos en términos de la lógica de primer
  orden.
• Generalizacion de ejemplos
• LIEPHuffman95
• basados en sistemas de ILP
• SRVFreitag98, RAPIERCaliff98
• WHISKSoderland99

27
Adaptability
Aprendizaje de reglas
SRV (Freitag98ab)

• Problemaclasificar secuencias de palabras
• Aprendizaje de reglas single-slot expresadas en
  logica de orden 1.
• slot-filler(sequence) si p1, p2, , pn
• Aprendizaje relacional. Modelo abierto. Usa las
  relaciones de sucesión y puede incorporar
  relaciones sintácticas (Link Grammar). No limita
  el contexto del filler
• Algoritmo de cobertura top-down (basado en FOIL).
  
• requiere ejemplos positivos y negativos
• empezando por la regla mas general, se le añade
  iterativamente el mejor predicado mientra que la
  regla cumpla MDL.

28
Adaptability
Aprendizaje de reglas
SRV (Freitag98ab)

• Uso de predicados
• lenght(Comp N) la secuencia tiene longitud
  mayor/menor/igual (Comp) de N tokens
• position(Var From Comp N) Existe un token (Var)
  que está a una distancia menor/mayor/igual (Comp)
  de N tokens del inici/ofinal de la secuencia
  (From)
• relpos(Var1 Var2 Relop N)
• some(Var Path Feat Va) Existe un token (Var) en
  la secuencia que cumple FeatVal. O existe un
  token (Var) relacionado con otro via atributos
  relacionales (Path) que cumple FeatVal
• every(Feat Value) Todo token cumple FeatVal
• Uso de atributos como word, capitalizedp,
  doubletonp,
• Puede utilizar WordNet.

29
Adaptability
Aprendizaje de reglas
SRV (Freitag98ab)

Speaker- some(?A, , word,unknown) every(cap
italizedp, true) length(, 2) some(?B, ,
word, unknown) some(?B, prev_token, word,
) some(?A, prev_token prev_token,
doubletonp, false) every(quadrupletonp,
false) some(?B, prev_token prev_token, word,
who)
30
Adaptability
Aprendizaje de reglas
RAPIER (Califf and Mooney97, Califf98)
Aprendizaje de reglas single-slot expresadas
como expresiones regulares ltpre-filler
pattern filler pattern post-filler
patterngt Aprendizaje relacional. Usa la relación
de sucesión entre palabras. Limita el contexto
del filler Algoritmo de compresión bottom-up
(basado en GOLEM,). Expresiones regulares más
generales son inducidas incrementalmente a partir
de los ejemplos y las expresiones regulares hasta
ahora inducidas. Uso de lemas y etiquetado
morfosintáctico desambiguado Puede usar WordNet.

31
Adaptability
Aprendizaje de reglas
RAPIER (Califf and Mooney97, Califf98)
... sold to the bank for an undisclosed
amount... ... paid Honeywell an undisclosed
price...
generalización
REGLA Pre-filler Filler Post-filler 1) POS
nn,nnp 1) undisclosed 1) Sem price 2) List
maxlength 2 POS jj
32
Adaptability
Aprendizaje de reglas
RAPIER (Califf and Mooney97, Califf98)

• Generalización de 2 reglas
• maximizar precisión
• disyunción o eliminación de una restricción
• Para cada slot
• RULES reglas mas especificas para los ejemplos
• mientras compresión falle K veces
• seleccionar 2 reglas, R1 y R2, aleatoriamente
• encontrar generalizaciones, L, de fillers
  respectivos
• crear reglas a partir de L, evaluar ? RULES
• especializar reglas de RULES n tokens de
  pre/post-fillers
• añadir nuevas reglas a RULES
• si precision(mejor_regla(RULES)) gt x
• añadirla a RULES y eliminar subsumidas
  empiricamente

33
Adaptability
Aprendizaje de reglas
WHISK (Soderland99)
Aprendizaje de reglas multi-slot expresadas como
expresiones regulares mas complejas y flexibles
que RAPIER pattern regular expression
involving VARi output object-class slot
VARi Aprendizaje relacional. Uso de la
relación sucesor entre tokens. Algoritmo de
cobertura top-down. Se añaden iterativamente
restricciones a la expresión regular más general,
de forma que cubra el mayor número de ejemplos.
Se procede slot por slot. Uso de diferentes
atributos dependiendo del tipo de problema
34
Adaptability
Aprendizaje de reglas
WHISK (Soderland99)
Capitol Hill 1 br twnhme. Fplc D/W W/D.
Undrgrnd pkg incl 675. 3 BR, upper flr of turn
of ctry HOME. incl gar, grt N. Hill loc 995.
[phone] ltbrgt ltigt ltfont size2gt(This ad
last ran on 08/03/97.) lt/fontgtlt/igtlthrgt
REGLA Pattern ( Digit ) BR ( Number
) Output Rental Bedrooms 1 Price 2
35
Adaptability
Aprendizaje de reglas
WHISK (Soderland99)
_at_S SUBJ _at_PN C. Protho PN , _at_PS chairman and
chief executive
officer PS of this maker of semiconductors .
VB _at_Passive was named _at_nam PP to the
additional post of _at_PS president PS , REL_V
succeding _at_succeed _at_PN John Smith PN , who
resigned _at_resign to pursue _at_pursu other
interests . S
REGLA Pattern ( Person ) _at_Passive F
named PP F ( Position ) _at_succeed
( Person ) Output Succession PersonIn 1 Post
2 PersonOut 3
36
Adaptability
Aprendizaje de reglas
WHISK (Soderland99)
RULES null Training null repetir por demanda
del usuario seleccionar un subconjunto de
NewInst de la Reserva (el usuario anota las
NewInst) Training Traning U NewInst descaratar
reglas con errores en NewInst para cada Inst en
Training para cada Tag en Inst si
Tag no esta cubierto por RULES Rule
grow_rule(Inst,Tag,Training) Podar RuleSet
37
Adaptability
Aprendizaje de reglas
WHISK (Soderland99)

• Grow_rule
• Regla mas general () () () para 3
  slots
• Para cada slot, añadir un término a cada
  iteración. Posteriormente para cada contexto,
  añadir un término a cada iteración, teniendo en
  cuenta el menor error de Laplacian
• Laplacian (e1)/(n1)
• e(R1) e(R2) ? Laplacian menor quan major
  cobertura