Title: Recherches sur la Langue des Signes
1Recherchessur la Langue des Signes
- Patrice DALLE
- IRIT - TCI
- IRIS - ER
Institut de Recherches en Informatique de
Toulouse équipe Traitement et Compréhension
dImages
2IRIT-TCI Traitement et Compréhension dImages
Présentation
- Vision par ordinateur
- Retrouver les informations sur la scène observée
- Interprétation
- Reconnaître les objets, Comprendre la scène
- Communication Visuo-Gestuelle
- Analyse des gestes ou signes dune personne
3Communication Visuo-Gestuelle
Présentation
4Types de recherches
Recherches
- LSF , objet de létude recherches
linguistiques - Communication en LSF technologies
facilitant la communication en LSF
- sur lutilisation de la langue des Signes
- Pédagogie en LSF
- Accès à la culture documents en LSF
- LSF et vie sociale
5Recherches sur la LSF
Thèmes des recherches
- Prérequis nécessaires pour étudier la LSF
- Constitution de corpus
- Formalismes de notation
- Outils informatiques danalyse de corpus vidéo
- Analyse de la LSF
- Formation des signes
- Caractéristiques de la LSF. Ex grande iconicité
- Grammaire de la LSF
- Modalités de la LSF
- Écriture de la LSF
- LSF , analyseur de faits de langues
- Naissance des langues (étude de sourds isolés)
- LSF et gestuelle co-verbale
6Communication en LSF
Thèmes des recherches
- Communication à distance
- Compression  intelligenteÂ
- Interfaces adaptées
- Messagerie en LSF
- Production dénoncés en LSF
- Avatars signants
- Ecriture de la LSF
- Prise de notes en LSF
- Résumés en vidéos, annotation, consultation
- Traduction LSF ? Français
- Énoncé ? sens ? représentation ? génération
7Financement public des recherches
Recherches en cours
- Ministère de la recherche
- ACI Action Cognitique Incitative
- CNRS
- Département STIC (Sciences et Technologies de
lInformation et de la Communication)Â - 4 domaines - STIC technologies de la
communication - IHC (Interaction Humaines et
Cognition) rôle de lhumain - RTP Réseaux Thématiques Pluridisciplinaires
- Actions spécifiques
- Equipes projets
- INRIA
- Régions
8Linguistique ? Informatiqueapports croisés
CVG
- Linguistique
- Primitives, niveaux danalyse
- Démarche danalyse ou de production dénoncés
- Informatique
- Modélisation de la syntaxe et de la sémantique
- Méthodes formelles
- Représentations pour rendre compte ou pour
générer - Modélisation du mouvement et des gestes
- Environnements
- Editeurs
- Outils de manipulation, stockage, interrogation
- Analyse LS ( vidéo, direct) ? représentation
- Génération représentation ? personnage de
synthèse
9Projets
Projets
- Gestes
- AS STIC analyse des gestes
- Langue des Signes
- ACI LS-COLIN (Cuxac) LS analyseur de langues
(2000-2002) - AS STIC (Gibet,Toulotte) Communication en LS
(2003-2004) - ACI (Garcia-Boutet) LSF - Formes graphiques
(2003-2005) - INRIA ARC-LSF
- Analyse des gestes co-verbaux
- AS STIC (Dalle, Cuxac) interaction gestuelle
(2002-2003) - Equipe projet (Dalle, Cuxac) Interaction
gestuelle (2004-2007)
10Projet LS-COLIN Langues des Signes - COgnition,
Linguistique, INformatique (Action COGNITIQUE)
Projet-1
Langues des signes Analyseurs privilégiés de
la faculté de langage, Apports croisés d'études
linguistiques, cognitives et informatiques
(traitement et analyse d'image) autour de
l'iconicité et de l'utilisation de l'espace.
- Sciences du Langage, Université Paris 8
(linguistique de la LSF) - CAMS-LaLIC,
Université Paris 4 (linguistique cognitive) -
IRIT-TCI, Université Toulouse 3 (informatique et
traitement de l'image) - LIMSI, CNRS, Orsay
(informatique)
11LS-COLIN
Projet-1
- L'iconicité des messages fonctionne comme
analyseur cognitif. - affiner l'inventaire des structures de "grande
iconicité" - modéliser lémergence du vocabulaire standard Ã
partir du processus d'iconicisation initial - vérifier des hypothèses des grammaires cognitives
l'expression complémentaire des primitives
spatiales et non spatiales issues des
représentations sémantico-cognitives dans les
énoncés en LS. - Travaux communs
- Identification des primitives signifiantes pour
linguistes et informaticiens - Structuration, segmentation
- Spécification dun outil de transcription
- Étude et réalisation dun corpus
12LS-COLIN Travaux des linguistes
Projet-1
- Thèmes de publications issues de
laction(linguistes) - Modèle dune grammaire iconique de la LSF
- Structures de grande iconicité
- Opérations de transfert
- Conséquences cognitives des transferts en LS
- Classification des configurations manuelles
pronomiales en LSF - La construction de références temporelles dans
les Langues des Signes Primaires (LSP) pratiquées
par des sourds vivant exclusivement en entourage
entendant
13Projet-1
14Corpus LS-COLIN
Projet-1
15Projet-1
Exploitation du corpus  histoire du chevalÂ
(I. Fusellier)
Validation Clignement des yeux, rôle du regard,
structure interne des transferts situationnels,
16LS-COLIN Editeur de partitions
Projet-1
17Edition assistée par Traitement d Images
Projet-1
18AS Interaction gestuelle(RTP Dialogue et
Communication)
Projet-2
Etude et Développement de la communication
Homme-Machine visuo-gestuelle
Patrice DALLE IRIT UMR 5505- Toulouse III
Christian CUXAC Syntaxe formelle et
typologie des languesUMR 7023 - Paris VIII
19AS-IG Motivation
Projet-2
- Intérêt
- Le geste permet une interaction naturelle
- Constat
- Le geste est peu utilisé dans la communication
H-M - La vision est peu utilisée dans les dispositifs
multimodaux - Causes
- Analyse en temps réel dun objet composé articulé
déformable, avec beaucoup de degrés de liberté - Le geste co-verbal est peu contraint et donc
difficile à analyser par un système de vision - Lexpression gestuelle seule est incomplète et
ambiguë
20AS-IG Présentation
Projet-2
- Objectif
- Enrichir les capacités déchange de la
communication visuo-gestuelle - Développer des modèles danalyse des langues
gestuelles par un système de vision - Méthode
- Etude des points communs langue des
signes / gestuelle co-verbale dans la
communication H-H - Transposition à la communication H-M
- Réalisation dune maquette de simulation
21AS-IG Apport de la langue des signes
Projet-2
analyse
plus faciles à interpréter
Langue des Signes
Gestesco-verbaux
plus expressifs
enrichit
22AS-IG Laboratoires  cÅ“urÂ
Projet-2
- Langue des signes
- UMR 7023 (Paris 8) "Syntaxe formelle et
typologie des langues", Ch Cuxac - UPRESA 6065 (Rouen) "DYALANG" , R. Sabria
- Co-verbal
- UMR 8606 (Paris 5) "LEAPLE" , Ch. Hudelot
- UMR 6057 (Aix-Marseille) "Parole et Langage" ,
I. Guaïtella- Cavé - Vision et analyse du geste par ordinateur
- UMR 5505 (Toulouse 3) IRIT -"Traitement et
Compréhension d'Images" P. Dalle - UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch
Collet
23AS Communication en langue des signes des
sourds(RTP Handicap)
Projet-3
Représentations et Modélisations du mouvement
dans le contexte de linteraction et de
lanimation dagents de synthèse communicant en
langue des signes.
24AS Communication en langue des signes des
sourds
Projet-3
- Modèles et langages de spécification pour la
génération et lanimation dagents de synthèse - Analyse et synthèse des expressions faciales
- Codage des gestes des langues des signes pour le
stockage des gestes, leur transmission et leur
re-synthèse en temps réel - Interaction multimodale avec les agents virtuels
de communication - Évaluation des différents systèmes par des
populations sourdes (représentation,
reconnaissance des gestes des avatars, dialogue)
25AS Communication en langue des signes des
sourds
Projet-3
- Porteurs
- Sylvie Gibet
- Laboratoire VALORIA, Université de Bretagne Sud
- Jean-Marc Toulotte
- Laboratoire I3D, université des Sciences et
Technologies de Lille - Participants
- LINC PARAGRAPHE, Université de Paris VIII
- Université de Paris VIII, UMR 7023
- LIMSI-CNRS, Université de Paris Sud
- IRIT, UMR 5505, Université Paul Sabatier,
Toulouse 3 - Institut de la Communication Parlée, Université
Stendhal, Grenoble
26ACI-JC La LSF quelles conditions pour quelles
formes graphiques(proposition de projet)
Projet-4
- Porteurs
- Dominique Boutet Brigitte Garcia
- (linguistes - Paris 8)
- laboratoires partenaires
27La LSF quelles conditions pour quelles formes
graphiques
Projet-4
- Enquête , évaluation
- Enquête qualitative sur les attentes et besoins
des populations concernées - Expertise (sémio-linguistique et sociologique)
des pratiques graphiques spécifiques - Propositions
- Approche fondée sur le signifiant physiologique,
permettant une forme graphique monolinéaire et
validée pour la gestualité coverbale - Etude dun outil de fabrication de comptes-rendus
dexposés en LSF - Étude de la génération dénoncés en LSF par des
agents virtuels informatiques.
28Analyse dimagede personnages signants Études
menées à lIRIT-TCI
Analyse dimage-TCI
- Description
- Détection , Extraction de primitives
- Segmentation
- Caractérisation
- Reconstruction 3D
- Reconnaissance
- Interprétation
29CVG pourquoi ?
Analyse dimage-TCI
- Problématique
- Thème émergent en analyse dimages
- Cadre détude pertinent
- Scientifique 3D, mouvement, compréhension, sens
- Applications
- Communication Homme-Machine (interaction,
commande, observation de lutilisateur, couplage
analyse-synthèse) - LSF,
- Linguistique étude des gestes co-verbaux
- Enseignement
- DESS SI Systèmes Intelligents (vision et
interaction) - DESS IIN Ingénierie de lImage Numérique
IRR Intelligence artificielle,
Reconnaissance des formes ,
Robotique
30CVG pourquoi ?
Analyse dimage-TCI
- Finalité Communication, Langue des Signes
- Opportunités
- Équipe TCI (synergie, masse critique)
- Vision , mouvement
- Compréhension
- IRIT (coopérations)
- Image (analyse et synthèse)
- CHM, analyse de la vidéo, indexation
- TALN (spatial), Dialogue
- Toulouse
- LSF fortes compétences (IRIS, Interpretis, UTM,
WebSourd,) - LAAS (geste)
31CVG et analyse dimage
Analyse dimage-TCI
- Analyse
- Détection silhouette, visage, mouvement
- Segmentation
- Composants du visage, du corps
- Mouvement
- Reconnaissance
- Expressions (visage)
- Gestes
- Interprétation
- Mimiques faciales
- Gestes co-verbaux
- Signes (de la LSF)
32Edition assistée par Traitement d Images
Analyse dimage IRIT-TCI
33Analyse dimage dans les projets
Analyse dimage IRIT-TCI
- Système danalyse de la LSF
- Boris Lenseigne
- Projet LS-COLIN
- Action STIC Communication en LS
- Analyse des gestes co-verbaux
- Frédérick Gianni
- Action STIC interaction gestuelle
- Analyse des expressions du visage
- Hugo Mercier
- Projet avec WebSourd
- Saisie des formes graphiques de la LSF
- Guylhem Aznar, Sébastien Benoist
- ACI LSF - formes graphiques
34Analyse dimage IRIT-TCI
Extraction du locuteur
- Comparaison avec une image de référence du
fond - Filtrage et traitement morphologique
35Analyse dimage IRIT-TCI
Extraction des entités mains et visage
1. Extraction des zones de peau 2.
Identification des différentes régions par
critères de taille et de forme Mains, Visage
36Analyse des mimiques faciales
Analyse dimage IRIT-TCI
- Détection du visage
- Suivi du visage ? méthode mean shift
- Modélisation du visage
- Etude des variations des composants
37Représentation du mouvement par motifs temporels
Analyse dimage IRIT-TCI
tMHI Intensité pixel fonction de lhistorique
du mouvement
Détection des gestes symétriques par analyse de
limage tMHI
38Détection des contours mobiles
Analyse dimage IRIT-TCI
Frontières des objets en mouvement
39Suivi des éléments mobiles
Analyse dimage IRIT-TCI
40Estimation 3D de la posture
Analyse dimage IRIT-TCI
Point 3D droite de projection ? sphère
41Estimation 3D de la posture
Analyse dimage IRIT-TCI
- Filtrage des solutions
- Modèle géométrique du bras
- position 3D ? valeurs des articulations
- butées
- Mouvement
- hypothèse de continuité
- modèles différentiels (vitesse et accélération)
42Estimation 3D de la posture
Analyse dimage IRIT-TCI
Reconstruction des trajectoires 3D des
articulations dun bras lors dun mouvement
43Estimation 3D de la posture
Analyse dimage IRIT-TCI
Reconstruction des trajectoires 3D des
articulations dun bras lors dun mouvement
étude du bruit
44Visualisationde lespacede signation
Analyse dimage IRIT-TCI
45Visualisation de lespace de signation
Analyse dimage IRIT-TCI
46Visualisation de lespace de signation
Analyse dimage IRIT-TCI
47Système danalyse de locuteur signantCahier des
charges (1)
Analyse dimage IRIT-TCI
- Le système doit fournir
- des outils de TI permettant de segmenter des
composants dun signe - des outils de mesure
- des outils de reconnaissance (région?composant
d un signe) - des outils de structuration des composants
pour chaque image isolément
48Cahier des charges (2)
Analyse dimage IRIT-TCI
- Le système doit fournir
- des outils de TI permettant la segmentation
temporelle de la séquence - des outils de mesure de la dynamique
- des outils de reconnaissance de trajectoires
- des outils de structuration des mouvements
pour la séquence d images.
49Cahier des charges (3)
Analyse dimage IRIT-TCI
Remarque sur la reconnaissance et la structuration
- Les composants sont identifiables par
- leurs caractéristiques (main tâche de couleur
peau taille forme) - le contexte (objet qui touche la tête main)
- La méthode de reconnaissance nest pas unique
- Le choix de la méthode évolue au cours du temps
Système adaptatif - les objets ont une
définition unique - il n y a pas une
description discriminante
50Cahier des charges (4)
Analyse dimage IRIT-TCI
- Contrainte ne pas limiter l espace des
problèmes - Le linguiste doit pouvoir exprimer ce quil
cherche, au moment de l analyse - Requêtes exprimées en termes d indices visuels
dans le contexte courant
vidéo
Linguiste
Système
Problème de communication et de compréhension
entre 2 acteurs qui échangent des notions Ã
propos d images de la LS
51Système
Analyse dimage IRIT-TCI
Interface linguiste
Interprète en termes du TI
pilote
Système intermédiaire
pilote
Observe et interprète
Séquence dimages de durée ?t (objet)
Configuration à un moment donné (?interp temps
d interprétation)
52- Contacts
- Patrice.Dalle_at_irit.frIRIT-TCI UPS 118 route
de Narbonne 31062 Toulouse cedex 4tel
05-61-55-63-09http//www.irit.fr/ACTIVITES/EQ_TCI
/ - Références
- LS-COLIN
- http//www.irit.fr/LS-COLIN
- Rapport final contact Patrice Dalle
- AS-IG
- http//www.irit.fr/AS-IG