Mejora de la interfaz vocal de control de un robot aut

1
Mejora de la interfaz vocal de control de un
robot autónomo móvil. Adaptación acústica y
generación supervisada de mapas

• Autor Nuria Pérez Magariños
• Tutor Juan Manuel Montero Martínez

2
Índice

• Objetivos
• Proyecto ROBINT
• Técnicas empleadas
• Configuración del sistema
• Adaptación
• Evaluación y pruebas
• Conclusiones y líneas futuras

3
Objetivos

• Adaptación de los modelos acústicos
• Guiado del robot
• Aprendizaje automático

4
Proyecto ROBINT

• Robots guía
• Interacción hombre-robot
• Generación de mapas

5
Guiado del robot

• Fase de aprendizaje
• Fase de verificación
• Propuesta inicial de frases
• Relación con el guía
• Movimiento
• Grafo
• Confirmación
• Visita

6
Técnicas empleadas

• Adaptación a tarea o a locutor
• Máximo a posteriori (MAP)
• HTK

7
Configuración del sistema
8
Configuración del sistema

• Ficheros de configuración
• Detector.ini
• Entorno.ini
• Tade.ini
• Voz.ini
• Reco_cfg_generico.ini
• Prb_htk_generico_Speechdat.ini

9
Configuración del sistema

• Ficheros de configuración
• Urbano.ini

10
Configuración del sistema
11
Configuración del sistema
12
Adaptación

• Interfaz Gráfica
• CRobintDialog
• Caracteristicas_modelo
• Adaptacion
• Thread principal
• Threads_ROBINT

13
Adaptación
14
Adaptación
15
Adaptación
16
Adaptación
17
Adaptación
18
Adaptación
MCC Micrófono con cable MSC Micrófono sin
cable Ruido Entorno ruidoso noRuido Entorno
no ruidoso
19
Adaptación
Adaptación diccionarios
Generación de ficheros de etiquetas
Parametrización ficheros de audio
Formateo para HTK
Normalización
20
Evaluación y pruebas

• Evaluación de los modelos genéricos

Locutor Media Varianza
Mujer 54,2 29,0
Hombre 24,0 9,0
21
Evaluación y pruebas

• Evaluación de los modelos genéricos
• Experimentos de adaptación
• Experimento 1 Emplear para cada emoción las
  mismas 90 frases de entrenamiento y 10 frases de
  test siempre.
• Experimento 2 Dividir las frases en 10 grupos de
  manera que se prueben todas las frases, haciendo
  un promedio de los resultados.

22
Evaluación y pruebas

• Determinación de la t óptima

1 2 3 4 5 6 7
Hombre Experimento 1 98,0 98,0 92,1 86,9 83,7 83,0 82,3
Hombre Experimento 2 59,1 60,1 60,1 58,8 - 57 -
Mujer Experimento 1 161,4 160,8 164,1 158,8 151,7 134,0 135,3
Mujer Experimento 2 129,7 132,7 133,9 134,7 - 134,7 -
23
Evaluación y pruebas

• Determinación de la t óptima
• Proporción entre entrenamiento y test

24
Evaluación y pruebas

• Determinación de la t óptima
• Proporción entre entrenamiento y test
• Reconocimiento cruzado

Promedio ()
Total 16,1
Sorpresa-Miedo 12,7
Alegría-Asco-Enfado-Tristeza-Neutra 13,2
Reconocimiento cruzado en el hombre
25
Evaluación y pruebas

• Determinación de la t óptima
• Proporción entre entrenamiento y test
• Reconocimiento cruzado

Reconocimiento cruzado en la mujer
Promedio ()
Total 44,1
Enfado-Neutra 11,8
Enfado-Neutra-Tristeza 23,4
Enfado-Neutra-Sorpresa 18,8
Enfado-Neutra-Tristeza-Sorpresa 26,9
26
Evaluación y pruebas

• Determinación de la t óptima
• Proporción entre entrenamiento y test
• Reconocimiento cruzado

27
Evaluación y pruebas

• Determinación de la t óptima
• Proporción entre entrenamiento y test
• Reconocimiento cruzado
• Entrenamiento con varias emociones

28
Evaluación y pruebas
29
Conclusiones

• Se han mejorado y simplificado la portabilidad y
  configuración del sistema
• Se ha añadido la posibilidad de que el locutor
  realice una adaptación de los modelos al sistema
• Interfaz gráfica
• Script de Windows
• Primera aproximación al guiado del robot
• En la adaptación de habla emocionada son mucho
  más efectivos los valores bajos de t para dar más
  peso a los datos de adaptación
• El habla neutra no es la que mejor reconoce a las
  demás emociones
• Entrenar con más emociones no significa reconocer
  mejor

30
Líneas futuras de investigación

• Llevar a cabo la implementación del prototipo
  para el sistema de guiado del robot
• Estudiar la mejora en el reconocimiento con
  emociones empleando la técnica MLLR

31
PREGUNTAS?