Aucun titre de diapositive

1
Presentación de las actividades
Director Jean Caelen
E-mail Jean.Caelen_at_imag.fr Web
www-clips.imag.fr
2
Tutelas
3
La sociedad de la información

• Estudiar, diseñar y evaluar nuevos medios de
  comunicación y de trabajo
• entre personas
• con computadoras

Convergencia entre telecomunicación
informática
4
Temas de investigación
Interacción persona-sistema Interacciones humanas
electrónicas Herramientas multimedia y
hipermedia para la educación Búsqueda
de información multimedia en el Web Indices sobre
los documentos multimedia (sonidos, imágenes,
video) Ingenería de la interacción y nuevas
interfaces multimodal Interfaces colaborativas,
realidad aumentada Interacción con la palabra y
diálogo hombre-máquina Tratamiento de la lengua y
multilingüismo Tratamiento de la voz y del sonido
5
Equipos de investigación
ARCADE (J.P. Peyrin, prof. UJF) Plataforma para
Realizar Aplicaciones de Educación GEOD (J.F.
Serignat, MCF INPG) Grupo de Investigación sobre
la Voz y el Diálogo GETA (C. Boitet, prof.
UJF) Grupo de Investigación sobre la Traducción
Automática IIHM (J. Coutaz, prof. UJF) Ingenería
de la Interacción Hombre-Máquina MRIM (M.F.
Bruandet, prof. UJF) Modelización y Búsqueda de
Informaciones Multimedia
6
MultiCom

• Una plataforma tecnológica para
• Estudiar los usos y la utilisabilidad en
  situación de trabajo
• Crear, desarollar y evaluar a los sistemas
• en,
• Experimentando escenarios de uso
• Simulando maquetas
• Y ofrecer al mundo industrial
• Una red de competencias multidisciplinarias
  (sociología de los usos, ergonomía, ingenería)
• Herramientos y métodos
• Una formación especializada para ingenieros

Acercamiento centrado usuario
7
Valorización
1998 Creación de la start-up NOVADIS, consejo
en ergonomía 1999 Creación de la start-up
ARLYS, servicio de explotación de redes de
educación 2000 Creación de la start-up
SpatioGuide, servicio vocal de ayuda a los
peatones ciegos 2001 Creación de la start-up
Dmailer, sortear automaticamente los mensajes
electrónicos sobre el contenido lingüístico
8
Principales proyectos
C-STAR Traducción de diálogos en el campo del
turismo (ATR Japan, ETRI Corea, CMU USA, ISL
Alemania, IRST Italia) RICOM Búsqueda de
información Interactiva, Colaborativa y
Multimodal FORMID FORMación Interactiva a
Distancia Espacios perceptivos y objetos
comunicantes (tele-médica, domótica,
arqueología) Realidad aumentada Pizarra
mágica, Mesa de diseño, Cirurgia
9
Tratamiento de la lengua y de la voz
C-STAR Consortium for Speech Translation
Advanced Research (Japan, Corea, USA, Alemania,
Italia, Francia) NESPOLE! (EU project)
NEgotiating through SPOken Language in
E-commerce (USA, Alemania, Italia, Francia)
10
El cliente habla con un agente de viaje en su
propria lengua
Proyecto C-STAR Traducción de diálogos entre
humanos Aplicación al turismo y al comercio
electrónico
11
Modulos lingüísticos 2 caminos posibles
Reconocimiento de la palabra
Texto en lengua de entrada
Traducción
Análisis hacia IF
texto IF
Generación
Texto en lengua de salida
Síntesis de la palabra
12
Interchange Format

• Representación del sentido independiente de las
  lenguas
• Representación edificada sobre los
• Actos de habla
• Lo que quiere o lo que hace
• Conceptos
• De que se habla (focus de la información)
• Argumentos
• Valores de las variables del discurso

 Tengo una habitación doble 
give-information
availabilityroom
room-type(single double)
13
IF beneficios

• N lenguas de salida posibles por el precio de una
• Ejemplo
• Posibilidad de  retroconstruir  en francés para
  el control o la verificación

Análisis hacia IF
IF
Generación
14
Los componentes reconocimiento de voz

• Reconocimiento  multilocutor 
• vocabulario (centrado sobre el turismo) de 64k
  palabras
• palabra continua y espontánea
• Arquitectura  cliente-servidor 
• Modulo RAPHAEL construido sobre la herramienta de
  JANUS III
• en cooperación con las universidades de
  Karlsruhe y de Carnegie Mellon
• Proyecto de ricerca con INAOE y IIMAS por el
  español-mexicano

15
Francés hacia IF

• Entrada trascripción ortográfica de la palabra
  (texto)
• Análisis morfológico y lematisación de las
  palabras
• Primer análisis con el diccionario de traspaso
  francés-IF
• Análisis sintáctico y reconocimiento de las
  estructuras gramaticales semánticamente
  pertinentes
• Datos, cuantos, nombres, precios, etc.
• Segundo análisis con el diccionario de traspaso
  francés-IF
• Generación sintáctica y morfológica de la IF
• Salida texto en lengua IF

16
sala de prensa
El 22 de julio 1999 a Grenoble



cliente
agentes
17
Busqueda de informacion

• RICOM Búsqueda Interactiva, Colaborativa y
  Multimodal
• de información
• HALPIN Diálogo hombre-máquina en el Web
• CoVitesse Navegación cooperativa en una gran
  cantidad de información

18
HALPIN Diálogo en languaje natural para la
búsqueda de informaciones en el Web
El usuario dialoga con el sistema HALPIN. El dice
su pregunta con la voz y la máquina responde de
la misma manera. La respuesta es cooperativa en
este ejemplo, se hace una nueva pregunta con la
finalidad de reducir la cantidad de documentos a
consultar.
19
Histórico del diálogo
Repuesta de la máquina
Detalle de un documento
Entrada de la pregunta al teclado
Entrada del reconocimiento IBM ViaVoice
Botones de control
20
VITESSE

• Una interfaz gráfica en ojo de pescado
• Búsqueda sobre una gran cantidad de documentos
• Multimodal para la navegación

21
COVITESSE

• Navegación colaborativa en el Web
• Definición de los tipos de navegación
• Twidale, M., Nichols, D., Paice, C. Browsing is
  a collaborative process.
• Preguntar a otro usuario,
• Buscar con otros, participando sus búsquedas,
• Mostrar y explicar, como un guía en un museo, un
  conjunto de páginas a grupos,
• Sólo ver a la actividad del grupo.

22
Protócolos de las interacciones colaborativas
Conflicto
Visita guiada
Navegación participante
Alto
Navegación libre
Estilo
Control
Monodirectional
Maximum
Bajo
Multidirectional
Minimum
Grande
Informal
Formal
Pequeño
Tamaño
Modo de comunicación
23
Interfaz para la navegación colaborativa
24
Aplicación colaborativa VITICOL

• Navegación colaborativa y asíncrona
• Pertinencia social y pertinencia "sistema"
• Búsqueda de opinión a cada página visitada
• Visibilidad de las estadísticas de opinión dentro
  de una lente mágica

25
Espacios perceptivos y comunicantes
RESIDE-HIS Casa Inteligente y Salud COMEDI
Comunicación Electrónica Informal
26
Domótica sensores de información y inteligencia
27
Dispositivo de salud a la casa
Bus domótico
Modem
Decision local / distante
Sensores fisiológicos
-
Memoria de eventos
-
Corazón
- Identificación
- Movimientos
- Comunicación
-
Peso


Senores de ruidos, de palabras
28
Mapa del piso experimental
29
CoMedi Espacio de comunicación informal
Focus, matriz
Control
Espejo control y observación
Zona de acceso
30
Ejemplos de filtros de publicación
Cortina
Video
Poster
31
EigenSpace Filter
Data basis de imágenes
Eigen Space
Imagen vista
Imagen recibida
32
Clase virtual e distante
Pizarra transparente FORMID FORMación
Interactiva a Distancia
33
Pizarra transparente
34
FORMID
FORMID FORMación Interactiva a
Distancia Metáfora de una clase virtual
GeneSimu es un generador para simular ejercicios.
Esta simplificación a un campo dedicado permite a
los diseñadores usar GenSimu para desarollar
productos de educación
Comedi Pizarra tansparente GeneSimu
35
Realidad aumentada
Pizarra mágica escritura natural y virtual Mesa
de diseño  brainstorming  aumentado Cirurgia
mejor control y seguridad
36
Pizarra mágica
37
Mesa de diseño
38
Cirurgia
CASPER (Computer ASsisted PERicardial
puncture) Ayuda al cirujano para conducir la
operación con una aguja cerca del corazón
39
Problema general de ingeneria
Cómo tener en todos lugares y sobre todos los
dispositivos la misma calidad de información ?
Es necesario decomponer la arquitectura del
sistema sobre elementos tan concretos comó
abstretos, en particular en función del contexto
40
... un método

Plataforma para experimentar (diseñar,
desarollar y evaluar) sistemas interactivos
MultiCom
41
Objetivos

Estudiar los usos y la utilisabilidad Desarrollar
y Evaluar a los sistemas con escenario de uso
sobre prototipos o productos finales
42
Un buen inicio enriquecer la idea
El proceso de desarrollo en espiral
Es muy importante para evitar paradas en el
proceso enriquecer la idea del ingeniero antes de
dasarrollar el producto considerando (a) El uso,
(b) La utilidad, (c) El precio, (d) La técnica
Funciones
Diagnóstico
Observación
Idea
CC
Maqueta
Evaluación
Evaluación
Escenario
43
El proceso empieza...
Analizando el uso Analizando las
funcionalidades Capturando la actividad del
usuario gt Para especificar el sistema
44
El proceso continua y se acaba...

• Desarrollando el sistema
• Evaluando el sistema final
• las funcionalidades (uso)
• la  ergonomía  (utilidad)
• Con criterios de calidad

45
Una plataforma  mago de Oz 
Dispositivo de observación
Usuario
Video de control
Grabación sonora
Magos
46

• Para concluir CLIPS es
• Un centro de ricerca de 100 personas con
• Una red de competencias multidisciplinarias
  (sociología de los usos, ergonomía, ingenería)
• Una plataforma de herramientas de captura del
  comportamiento y de métodos de análisis cognitivos

MultiCom