Interaccin oral hombremquina: Modelado del lenguaje

1
Interacción oral hombre-máquinaModelado del
lenguaje

• Antonio J. Rubio
• Departamento de Electrónica y Tecnología de
  Computadores
• Universidad de Granada (España)

2
Resumen del curso

• Análisis y parametrización de la señal de voz
• Modelado Acústico
• Modelado del lenguaje
• El problema
• Gramáticas formales
• Modelos de lenguaje
• Incorporación a un sistema automático de
  reconocimiento del habla
• Traducción automática
• Sistemas de reconocimiento de grandes
  vocabularios
• Aplicaciones e interfaces de usuario

3
Bibliografía

• X. Huang, A. Acero, H. Hon (2001), Spoken
  Language Processing A Guide to Theory,
  Algorithm, and System Development, Prentice Hall,
  2001
• L. R. Rabiner y B.-H. Juang Fundamentals of
  Speech Recognition, Prentice-Hall, 1993.
• S. Furui y M. M. Sondhi (Editores) Advances in
  Speech Signal Processing, Marcel Dekker, 1992.

4
Dimensiones de la dificultad del problema
Conectividad
( Ruido, Robustez)
Locutores
Vocabulario y complejidad del lenguaje
5
Evaluación de un sistema

• Hay que especificar cada uno de los aspectos
  anteriores
• Número de locutores
• Vocabulario y Gramática
• Conectividad
• Nivel de ruido permitido
• Problema importante Coarticulación

6
Esquema general de un sistema
7
Sistemas con modelado estadístico

• Señal ? secuencia de vectores o símbolos
• (Parametrización de tramas)
• Problema
• Dada una secuencia de vectores, X, cuál es la
  frase, F, que se ha pronunciado?
• Búsqueda del máximo de P(F / X)
• Información disponible
• P(X / F)

8
Modelos acústico y del lenguaje

• Ley de Bayes
• P(F / X) P(X / F) (P(F) / P(X)
• Buscar máximo de S(F / X) P(X / F) P(F)
• P(X / F) ? modelo acústico
• Unidades acústicas usuales tipo fonema
• Problema de la coarticulación
• P(F) ? modelo del lenguaje

9
Modelado del lenguaje

• P(F/ X) P(X / F) (P(F) / P(X) ? P(X / F) P(F)
• P(F) ? modelo del lenguaje
• F w1 w2 ... wq
• P(F) P(w1 w2 ... wq) P(w1) P(w2w1)
  P(w3w1w2) ... P(wqw1...wq-1)
• En la práctica, se requieren aproximaciones
• Grandes vocabularios Integración de los modelos
  acústicos y del lenguaje en un macro-modelo
  oculto de Markov para todo el lenguaje

10
Medida de la dificultad de una tarea

• Determinada por la flexibilidad real del lenguaje
  admitido
• Perplejidad número promedio de opciones
• Hay medidas más refinadas, que tienen en cuenta
  la diferencia dificultad de las palabras o de los
  modelos acústicos

11
Ejemplo
/ e / / l /
12
Espacio de búsqueda
13
Gramáticas formales

• Lenguaje conjunto de frases admisibles
• Gramática modelo para describir el lenguaje
• Gramática formal G (VT, VN, P, S)
• Ejemplo
• VT a, b , c VN S, A, B
• P
• 1) S Abc
• 2) Ab bA
• 3) Ac Bbcc
• 4) bB Bb
• 5) aB aaA
• 6) aB ?
• L(G) an bn2 cn2

14
Tipos de gramáticas

• Clasificación de Chomsky
• Tipo 0 Sin restricciones en las reglas
• Demasiado complicadas para ser útiles
• Tipo 1 Reglas sensibles al contexto
• Todavía demasiado complicadas
• Tipo 2 Reglas libres del contexto
• Ya se usan en sistemas experimentales
• Tipo 3 Regulares o de Estados Finitos
• Reglas del tipo A Ba ó A
  a
• Inferencia gramatical determinación de las
  reglas
• Análisis sintáctico comprobación y explicación
  de una frase

15
Gramáticas y autómatas

• Cada tipo de gramática está relacionado con un
  tipo de autómata, que la reconoce
• Tipo 0 (sin restricciones) Máquina de Turing
• Tipo 1 (libres del contexto) autómata
  linealmente limitado
• Tipo 2 (sensibles al contexto) autómata
  push-down
• Tipo 3 (regulares) autómata de estados finitos

16
Gramática del ejemplo

• VT Cuál, es, Dime, el, la, capital, idioma,
  presidente, de, Argentina, Chile, España,
  VN A, B, C, D, E
• P
• 1) S Cuál A 2) S Dime B
  3) A es B
• 4) B el C 5) B la C
  6) C capital D
• 7) C idioma D 8) C
  presidente D 9) D de E
• 10) E Argentina 11) E Chile
  12) E España

España
17
Gramáticas estocásticas y recursivas

• Añaden una probabilidad a cada una de las reglas
  de producción
• Recursivas (capacidad de generalización)
  o no recursivas (descripción
  exhaustiva)

18
N-gramáticas

• Cálculo de P(W) es poco práctico, se suele
  aproximar
• P(W) P(w1,w2,...,wQ)
• P(w1) P(w2 w1 ) P(w3 w1 w2 ) ... P(wQ
  w1...wQ-1 )
• La estimación de todas estas probabilidades sigue
  siendo dificultosa
• Se suele usar historia de n palabras
  (n-gramáticas)
• Ej. bigramática P(wi wi-1 )
• Se supone independencia estadística respecto de
  la parte más antigua de la historia
• P(W) P(w1) P(w2 w1 ) P(w3 w2 ) ... P(wQ
  wQ-1 )

19
Ejemplo de bi-gramática

• P(ltLa Alhambra de Granadagt)
  P(ltLagtltSgt)
  P(ltAlhambragtltlagt)
  P(ltdegtltAlhambragt)
  P(ltGranadagtltdegt)
  P(ltSgtltGranadagt)

20
Estimación de N-gramáticas

• Para una bigramática
• P(wi wi-1) C(wi-1 wi) / C(wi-1)
• En general (N-gramática)
• P(wi wi-N wi-2 wi-1) C(wi-N wi-1 wi) /
  C(wi-N wi-1)

21
Suavizado de N-gramáticas

• Uno de los problemas de la estimación de las
  N-gramáticas es la escasez de secuencias wi-N
  wi-1 wi
• Las probabilidades están mal estimadas en ese
  caso
• Las probabilidades para las frases pueden ser muy
  erróneas
• Si P(W) 0 (por no haber visto ningún ejemplo)
  la frase es imposible de reconocer, no pertenece
  al modelo de lenguaje
• El suavizado da probabilidad no nula a todas las
  posibles transiciones

22
Suavizado mediante back-off

• Para una bi-gramática, en lugar de
• P(wi wi-1) C(wi-1 wi) / C(wi-1)
• se pone
• (V tamaño del vocabulario)
• que es equivalente a sumar 1 a todas las cuantas
  de parejas

23
Suavizado mediante deleted interpolation

• PI(wi wi-1) ? P(wi wi-1) (1- ?) P(wi)
• (0lt ? lt1)
• Es una interpolación entre la bi-gramática sin
  suavizar y la monogramática
• Se puede generalizar recursivamente

24
Gramáticas de clases de palabras

• Las palabras se agrupan en clases
• Se estima una gramática de clases
• La probabilidad de una palabra tras una secuencia
  de clases es

25
Aspectos prácticos

• Gramáticas con memoria
• Gramáticas con disparadores
• Palabras fuera del vocabulario