Interpreting natural language to command actors

1
Interpreting natural language to command actors
LIG DI EPFL Auteur Pedro Carnino Assistant
Marcelo Kallmann
2
Description du problème
Langage naturel simple (anglais)
Script python (commandes de haut niveau)
Rendu graphique
3
Approches considérées etApproches choisies

• 3 questions
• Evitement de la collision
• Construction du vocabulaire
• Technique dinterpretation du langage naturel

4
Evitement de la collision 1/2
Basé sur la perception
5
Evitement de la collision 2/2
Basé sur la connaissance des chemins (pseudo
domaines de Voronoï)
6
Construction du vocabulaire1/2
7
Construction du vocabulaire2/2
Dans ACE
Virtual Objects
Bob Bill Butch computer table chair door cupboard
Virtual Human
behaviors
lower push
Smart Object
8
Technique dinterpretation du langage naturel

• Analyse syntaxique puis sémantique
• Interprétation par un moteur dinférence
• Temporisation de tâches
• Prise en compte des émotions
• Trop complexe et trop long
• Analyse syntaxique et sémentique intégrée

9
Conception informatique

• Interface Graphique Ace Natural Language (FLTK)
• Implémentation C nat_lang_lib dynamique
• Classes fournies
• fg_String
• fg_Array
• fg_Output fg_Input
• classes ace (ag_control, ...)

10
Ce qui a été réalisé

• Chargement de lenvironnement et de ses occupant
• Déplacement sans collision
• Interactions avec lenvironnement
• Utilisation des types dobjets et types
  dactions
• Mémorisation du dernier sujet et du dernier
  objet
• Informations sur la perception et les
  possibilités

11
Extensions possibles

• Division en deux parties avec interface commune
• Gestion des threads python
• Adaptation à la reconnaissance vocale
• Ajout de contrôle par DataGlove
• Integration dans la réalité virtuelle
• Outils de recherche dinformation avec agents
  intelligents