Realidad Virtual y Entornos Virtuales Habitados

1
Realidad Virtual y Entornos Virtuales Habitados

• Angélica de Antonio Jiménez
• Universidad Politécnica de Madrid
• Facultad de Informática
• Universidad de Castilla la Mancha Octubre 2005

2
Índice

• Presentación
• Introducción a la Realidad Virtual y los Entornos
  Virtuales
• Dispositivos de Realidad Virtual y Realidad
  Aumentada
• Desarrollo de Entornos Virtuales
• Agentes Virtuales Inteligentes
• Algunos Proyectos de la UPM

3
Índice

• Presentación
• Introducción a la Realidad Virtual y los Entornos
  Virtuales
• Dispositivos de Realidad Virtual y Realidad
  Aumentada
• Desarrollo de Entornos Virtuales
• Agentes Virtuales Inteligentes
• Algunos Proyectos de la UPM

4
El Laboratorio Decoroso Crespo

• Laboratorio de ID dependiente de la Facultad de
  Informática de la UPM
• Áreas de trabajo
• Aplicación de las tecnologías de la información y
  las comunicaciones a la enseñanza
• Sistemas Inteligentes de Tutoría
• E-learning
• Gestión de la Formación
• Entornos Virtuales y Agentes Virtuales

5
Índice

• Presentación
• Introducción a la Realidad Virtual y los Entornos
  Virtuales
• Dispositivos de Realidad Virtual y Realidad
  Aumentada
• Desarrollo de Entornos Virtuales
• Agentes Virtuales Inteligentes
• Algunos Proyectos de la UPM

6
Realidad Virtual

• En 1989 se propone, por parte de Jaron Lanier, el
  término de Realidad Virtual
• una simulación interactiva que implica a todos
  los sentidos, generada por un ordenador,
  explorable, visualizable y manipulable en tiempo
  real, dando la sensación de presencia en el
  entorno.
• La sensación visual, auditiva, táctil...- se
  debe percibir como auténtica por el sujeto
• El término Entornos Virtuales fue introducido por
  investigadores del MIT a principios del año 1990
  como sinónimo de Realidad Virtual

7
Entornos Virtuales Habitados

• Lo realmente diferente es que el usuario pasa a
  formar parte del entorno
• Adopta algún tipo de representación que puede
  manipular en tiempo real AVATAR
• Representación nombre (MUDs), visual (2D / 3D)
• Necesidad de una identidad
• Humanoides mayor identificación
• Evolución hacia
• Mayor realismo, mejores gráficos
• Comportamiento más verosímil (believability)

8
Habitantes de un EV

• Maniquís
• Representación de un humano que no es el usuario,
  manipulable totalmente por el usuario
• Avatares
• Representación de un usuario. Responde a las
  órdenes del usuario.
• Agentes autónomos
• Actúan autónomamente, son inteligentes (Agente
  Virtual Inteligente)
• Avatares-agentes
• Representación de un usuario pero con un cierto
  grado de autonomía

9
Avatares
10
Tipos de Entornos Virtuales(según la
dimensionalidad)

• Textuales

11
Tipos de Entornos Virtuales(según la
dimensionalidad)

• Textuales
• 2D

12
Tipos de Entornos Virtuales(según la
dimensionalidad)

• Textuales
• 2D
• 3D

13
Tipos de Entornos Virtuales(según el número de
usuarios)

• Mono-usuario
• Multi-usuario Entorno Virtual Distribuido (DVE)
• La historia de los DVEs se remonta a la década
  de los 70 y arranca por dos caminos en paralelo
• el mundo de Internet, orientado a los juegos en
  red
• en el campo militar orientado a la simulación
  para el entrenamiento(DIS Distributed
  Interactive Simulation)
• Plataformas para el desarrollo de DVEs
• SPLINE, DIVE, MASSIVE, etc.
• Problemas de escalabilidad, sincronización

14
Tipos de Entornos Virtuales(según el grado de
inmersión)

• La inmersión o no-inmersión en un entorno virtual
  da lugar a dos experiencias fundamentalmente
  diferentes
• Los sistemas no inmersivos soportan la sensación
  de mirar al EV
• los sistemas inmersivos soportan la sensación de
  estar en el EV
• Dispositivos
• Sistemas no inmersivos (RV de escritorio)
• Monitor, teclado, ratón y joystick
• Inmersivos
• Dispositivos de RV

15
Tipos de Entornos Virtuales(según su objetivo)

• Existen múltiples aplicaciones posibles, que
  imponen diferentes requisitos
• Industria del Ocio (películas, juegos, entornos
  sociales)
• Comercio electrónico
• Diseño
• Tratamiento de fobias. Aplicaciones médicas
• Simulación y estudio de sistemas complejos
• Entornos de Trabajo Colaborativo
• Formación y Aprendizaje

16
Tipos de Entornos Virtuales(según el grado de
realismo)

• Realistas
• Adaptación de la realidad
• Tamaño
• Transparencia
• Escala de tiempo
• Fantásticos

17
Tipos de Entornos Virtuales(según el grado de
virtualidad)

• Realidad Virtual
• Realidad Aumentada
• Según Milgram

18
Tipos de Entornos Virtuales(según el grado de
interactividad)

• Pasivos
• son entornos inmersivos no interactivos. Entornos
  en los que podemos ver, oír, y quizás sentir lo
  que sucede, pero no es posible controlar lo que
  ocurre. Corresponde a las llamadas películas
  dinámicas habituales en parques de atracciones.
• Exploratorios
• permiten al usuario desplazarse por el entorno
  virtual para explorarlo. Es el estadio
  correspondiente a los paseos arquitectónicos y
  las obras de arte virtuales
• Interactivos
• permiten al usuario explorar y experimentar con
  el entorno, modificándolo.

19
Índice

• Presentación
• Introducción a la Realidad Virtual y los Entornos
  Virtuales
• Dispositivos de Realidad Virtual y Realidad
  Aumentada
• Desarrollo de Entornos Virtuales
• Agentes Virtuales Inteligentes
• Algunos Proyectos de la UPM

20
Enfoque multidisciplinar

• Gráficos por computadora
• Física, química
• Interacción Persona-Ordenador
• Psicología cognitiva
• Inteligencia Artificial - Agentes
• Lingüística Procesamiento de Lenguaje Natural
• Ingeniería del Software

21
Desarrollo de Entornos Virtuales

• Modelado 3D
• A modelar
• Escenario y objetos
• Habitantes
• Cómo modelar
• Láser, Fotogrametría
• CAD problemas de conversión de formatos
• Herramientas de modelado 3DStudio (PC), Maya
  (PC/Silicon Graphics), Poser, PeopleShop,
  VirtualFriend, NuGraf, Caligari Truespace
  Creator, ...
• Otros elementos
• Luces
• Texturas

22
(No Transcript)
23
(No Transcript)
24
(No Transcript)
25
(No Transcript)
26
Desarrollo de Entornos Virtuales

• Modelado 3D
• Animación 3D

27
Animaciones 3D

• Tipos
• Traslaciones rotaciones
• Giros de articulaciones animación esquelética
• Deformaciones (morphing)
• Forma de generación
• Definición manual de key-frames interpolación
• Cinemática directa
• Cinemática inversa
• Tiempo de generación
• Precalculadas
• En tiempo real

28
Desarrollo de Entornos Virtuales

• Modelado 3D
• Animación 3D
• Visualización
• Motores gráficos rendering, animaciones,
  detección de colisiones, luces, texturas,
• Técnicas de detección de colisiones
• Bounding boxes
• Ray tracing
• Problemas
• Realismo
• Precisión
• Requisitos de cómputo

29
Desarrollo de Entornos Virtuales

• Modelado 3D
• Animación 3D
• Visualización
• Comunicación con dispositivos de salida

30
Desarrollo de Entornos Virtuales

• Modelado 3D
• Animación 3D
• Visualización
• Comunicación con dispositivos de salida
• Hasta aquí es suficiente para desarrollar EVs
  pasivos, entornos en los que podemos ver, oír, y
  quizás sentir lo que sucede, pero no es posible
  controlar lo que ocurre.

31
Desarrollo de Entornos Virtuales

• Modelado 3D
• Animación 3D
• Visualización
• Comunicación con dispositivos de salida
• Interacción
• A través de los dispositivos de entrada y/o
  interfaz de usuario
• Control del punto de vista (cámaras virtuales)
• Navegación
• Hasta aquí es suficiente para el desarrollo
  de EVs exploratorios, que permiten al usuario
  desplazarse por el entorno virtual para explorarlo

32
Desarrollo de Entornos Virtuales

• Modelado 3D
• Animación 3D
• Visualización
• Comunicación con dispositivos de salida
• Interacción
• Generación de eventos sobre el entorno
• Programación de los comportamientos del EV
  (simulación) y sus habitantes
• Esto es necesario si queremos desarrollar EVs
  interactivos

33
Situación Actual del Desarrollo de EVs

• La mayor parte de los EV desarrollados son
  prototipos de laboratorio
• Hay relativamente poca experiencia en el
  desarrollo de este tipo de sistemas
• El énfasis se pone en la fase de codificación
• Se debe prestar más atención a las necesidades y
  requisitos de los usuarios
• No se adopta una actitud ingenieril

34
Nuestro Objetivo

• Proponer un marco metodológico para el desarrollo
  de EVs bajo el prisma de la IS, para mejorar una
  serie de parámetros de calidad del software
  obtenido
• Caracterización de los elementos que pueden
  aparecen en un EVH, así como sus comportamientos.
  
• Una arquitectura genérica para EVHs.
• El conjunto de procesos necesarios para
  desarrollar EVHs, así como las tareas de que se
  compone cada proceso y las relaciones entre
  éstas.
• La estrategia de desarrollo que se debe seguir. 
• Tesis doctoral finalizada en 2001 (Mª Isabel
  Sánchez)

35
Nuestro Objetivo

• Proponer un marco metodológico para el desarrollo
  de EVs bajo el prisma de la IS, para mejorar una
  serie de parámetros de calidad del software
  obtenido
• Caracterización de los elementos que pueden
  aparecen en un EVH, así como sus comportamientos.
  
• Una arquitectura genérica para EVHs.
• El conjunto de procesos necesarios para
  desarrollar EVHs, así como las tareas de que se
  compone cada proceso y las relaciones entre
  éstas.
• La estrategia de desarrollo que se debe seguir. 
• Tesis doctoral finalizada en 2001 (Mª Isabel
  Sánchez)

36
Caracterización de Elementos de un EV
37
Comportamiento Componente Perceptible-Reactivo
Percepción
Razonamiento
Actuación
Percibe
El componente
No
Razona
detecta activación
Si
por parte del usuario
o dentro del EVH?
El componente tiene que hacer algún cálculo,
comprobación, etc.?
Si
Actúa
No
El componente tiene
No
que hacerse perceptible
al usuario?
Realiza Interacción externa
Si
(suena, se anima, se visualiza, etc
El componente tiene
Si
que comunicar algo al
Realiza Interacción
resto de componentes
Interna (comunica)
del EVH?
No
38
Nuestro Objetivo

• Proponer un marco metodológico para el desarrollo
  de EVs bajo el prisma de la IS, para mejorar una
  serie de parámetros de calidad del software
  obtenido
• Caracterización de los elementos que pueden
  aparecen en un EVH, así como sus comportamientos.
  
• Una arquitectura genérica para EVHs.
• El conjunto de procesos necesarios para
  desarrollar EVHs, así como las tareas de que se
  compone cada proceso y las relaciones entre
  éstas.
• La estrategia de desarrollo que se debe seguir. 
• Tesis doctoral finalizada en 2001 (Mª Isabel
  Sánchez)

39
Modelo de Proceso Propuesto
PROCESOS DE DESARROLLO
PROCESOS DE DESARROLLO
Todas las tareas
Todas las tareas
y técnicas
y técnicas
Análisis
Análisis
propuestas son nuevas
propuestas son nuevas
Algunas de las tareas
Algunas de las tareas
Diseño
Diseño
y técnicas
y técnicas
propuestas son nuevas
propuestas son nuevas
Diseño de Elementos
Diseño de Elementos
Diseño 3D
Diseño 3D
Multimedia
Multimedia
Se propone el uso de
Se propone el uso de
Diseño de la
tareas y técnicas de otras
Diseño de la
tareas y técnicas de otras
Diseño
Diseño
disciplinas
disciplinas
Arquitectura Interna
Arquitectura Interna
del Sistema
del Sistema
de los Componentes
de los Componentes
PROCESOS DE
PROCESOS DE
Implementación
Implementación
GESTIÓN
GESTIÓN
Implementación de
Implementación de
PROCESOS
PROCESOS
Componentes de Soporte
Componentes de Soporte
Estimación
Estimación
INTEGRALES
INTEGRALES
Implementación del
Implementación del
Verificación y
Verificación y
Módulo Principal
Módulo Principal
Validación
Planificación
Validación
Planificación
40
Modelo de Proceso Propuesto
PROCESOS DE DESARROLLO
PROCESOS DE DESARROLLO
Todas las tareas
Todas las tareas
y técnicas
y técnicas
Análisis
Análisis
propuestas son nuevas
propuestas son nuevas
Algunas de las tareas
Algunas de las tareas
Diseño
Diseño
y técnicas
y técnicas
propuestas son nuevas
propuestas son nuevas
Diseño de Elementos
Diseño de Elementos
Diseño 3D
Diseño 3D
Multimedia
Multimedia
Se propone el uso de
Se propone el uso de
Diseño de la
tareas y técnicas de otras
Diseño de la
tareas y técnicas de otras
Diseño
Diseño
disciplinas
disciplinas
Arquitectura Interna
Arquitectura Interna
del Sistema
del Sistema
de los Componentes
de los Componentes
PROCESOS DE
PROCESOS DE
Implementación
Implementación
GESTIÓN
GESTIÓN
Implementación de
Implementación de
PROCESOS
PROCESOS
Componentes de Soporte
Componentes de Soporte
Estimación
Estimación
INTEGRALES
INTEGRALES
Implementación del
Implementación del
Verificación y
Verificación y
Módulo Principal
Módulo Principal
Validación
Planificación
Validación
Planificación
41
El Proceso de Análisis
Definición de Requisitos
Definición de Requisitos
Estereotipado del EVH
Estereotipado del EVH
A
-
RE
Específicos
A
-
RE
Específicos
A
-
EE
A
-
EE
A
-
ME
Modelado Estático
A
-
ME
Modelado Estático
D3D
-
AR,D3D
-
DE,
D3D
-
AR,D3D
-
DE,
A
-
C
A
-
C
D3D
-
DA, DEM
-
DM,
D3D
-
DA, DEM
-
DM,
DEM
-
AR
DEM
-
AR
Conceptualización
Conceptualización
A
-
MD
Modelado Dinámico
A
-
MD
Modelado Dinámico
42
El Proceso de Análisis
Definición de Requisitos
Definición de Requisitos
Estereotipado del EVH
Estereotipado del EVH
A
-
RE
Específicos
A
-
RE
Específicos
A
-
EE
A
-
EE
A
-
ME
Modelado Estático
A
-
ME
Modelado Estático
D3D
-
AR,D3D
-
DE,
D3D
-
AR,D3D
-
DE,
A
-
C
A
-
C
D3D
-
DA, DEM
-
DM,
D3D
-
DA, DEM
-
DM,
DEM
-
AR
DEM
-
AR
Conceptualización
Conceptualización
A
-
MD
Modelado Dinámico
A
-
MD
Modelado Dinámico
43
Estereotipado del EVH

• Descripción
• Se tratará de estereotipar el tipo de EVH a
  construir a través de entrevistas con el cliente.
  Cada estereotipo de EVH vendrá descrito por una
  serie de características y, como consecuencia de
  ello, habrá un conjunto de tareas asociadas,
  necesarias para llevar a cabo el desarrollo del
  EVH de la forma más eficiente.

44
Cuestionario de Tipificación

• cuestionarioTipificacion.doc

45
El Proceso de Análisis
Definición de Requisitos
Definición de Requisitos
Estereotipado del EVH
Estereotipado del EVH
A
-
RE
Específicos
A
-
RE
Específicos
A
-
EE
A
-
EE
A
-
ME
Modelado Estático
A
-
ME
Modelado Estático
D3D
-
AR,D3D
-
DE,
D3D
-
AR,D3D
-
DE,
A
-
C
A
-
C
D3D
-
DA, DEM
-
DM,
D3D
-
DA, DEM
-
DM,
DEM
-
AR
DEM
-
AR
Conceptualización
Conceptualización
A
-
MD
Modelado Dinámico
A
-
MD
Modelado Dinámico
46
Tarea de Conceptualización
Estereotipo de EVH
Entrada
Productos
Definición del Problema
Salida
Definiciones, Acrónimos y Abreviaturas
Lista inicial de requisitos funcionales del
sistema
Documento de Conceptualización, con casos de uso
y conceptos de uso clasificados.
Conceptos de Uso
Técnicas
Casos de Uso
Analista de Sistemas
Participantes
Cliente
Usuarios

• Un Concepto de Uso se redacta en una o dos frases
  y representa una de las posibles funcionalidades
  del sistema, no siendo estas funcionalidades
  demandadas directamente por el usuario sino
  delegadas en algún elemento del EVH

47
El Proceso de Análisis
Definición de Requisitos
Definición de Requisitos
Estereotipado del EVH
Estereotipado del EVH
A
-
RE
Específicos
A
-
RE
Específicos
A
-
EE
A
-
EE
A
-
ME
Modelado Estático
A
-
ME
Modelado Estático
D3D
-
AR,D3D
-
DE,
D3D
-
AR,D3D
-
DE,
A
-
C
A
-
C
D3D
-
DA, DEM
-
DM,
D3D
-
DA, DEM
-
DM,
DEM
-
AR
DEM
-
AR
Conceptualización
Conceptualización
A
-
MD
Modelado Dinámico
A
-
MD
Modelado Dinámico
48
Modelado Estático (modelo de clases básico)
Objeto de Decorado
Componente
Sub-EVH
EVH
Posición
Orientación
Puerta
Punto de Vista
Frontera
Luz
1
1
Tipo
Color
Tipo
Utiliza
1..
1..
Usuario
Avatar
Avatar_Seleccionado
Cuerpo
tiene
Nombre
Edad
Orientación
Acción
Nombre
Posición
1
1
1
1
Sexo
Estado
Rol
Id_conexión
1
1
Tiene
1
1
Usa
1
1
1..
1..
Memoria
Dispositivo de Conexión
Lista_de_amigos
Tipo
49
Modelo de Proceso Propuesto
PROCESOS DE DESARROLLO
PROCESOS DE DESARROLLO
Todas las tareas
Todas las tareas
y técnicas
y técnicas
Análisis
Análisis
propuestas son nuevas
propuestas son nuevas
Algunas de las tareas
Algunas de las tareas
Diseño
Diseño
y técnicas
y técnicas
propuestas son nuevas
propuestas son nuevas
Diseño de Elementos
Diseño de Elementos
Diseño 3D
Diseño 3D
Multimedia
Multimedia
Se propone el uso de
Se propone el uso de
Diseño de la
tareas y técnicas de otras
Diseño de la
tareas y técnicas de otras
Diseño
Diseño
disciplinas
disciplinas
Arquitectura Interna
Arquitectura Interna
del Sistema
del Sistema
de los Componentes
de los Componentes
PROCESOS DE
PROCESOS DE
Implementación
Implementación
GESTIÓN
GESTIÓN
Implementación de
Implementación de
PROCESOS
PROCESOS
Componentes de Soporte
Componentes de Soporte
Estimación
Estimación
INTEGRALES
INTEGRALES
Implementación del
Implementación del
Verificación y
Verificación y
Módulo Principal
Módulo Principal
Validación
Planificación
Validación
Planificación
50
El Proceso de Diseño 3D
Tareas Acrónimo
Proceso de Diseño 3D Selección de Diseños 3D Existentes D3D-SD
Proceso de Diseño 3D Adaptaciones y Retoques de Diseños 3D Existentes D3D-AR
Proceso de Diseño 3D Diseño 3D del EVH D3D-DE
Proceso de Diseño 3D Diseño 3D de los Avatares D3D-DA
D3D
-
SD
D3D
-
AR
D3D
-
SD
D3D
-
AR
A
-
C, A
-
RE
A
-
C, A
-
RE
Selección de Diseños 3D
Adaptaciones y Retoques de
Selección de Diseños 3D
Adaptaciones y Retoques de
Existentes
Diseños 3D Existentes
Existentes
Diseños 3D Existentes
D3D
-
DE
D3D
-
DE
A
-
C, A
-
RE
A
-
C, A
-
RE
Diseño 3D del EVH
Diseño 3D del EVH
D3D
-
DA
D3D
-
DA
Diseño 3D de los Avatares
Diseño 3D de los Avatares
51
El Proceso de Diseño 3D
Tareas Acrónimo
Proceso de Diseño 3D Selección de Diseños 3D Existentes D3D-SD
Proceso de Diseño 3D Adaptaciones y Retoques de Diseños 3D Existentes D3D-AR
Proceso de Diseño 3D Diseño 3D del EVH D3D-DE
Proceso de Diseño 3D Diseño 3D de los Avatares D3D-DA
D3D
-
SD
D3D
-
AR
D3D
-
SD
D3D
-
AR
A
-
C, A
-
RE
A
-
C, A
-
RE
Selección de Diseños 3D
Adaptaciones y Retoques de
Selección de Diseños 3D
Adaptaciones y Retoques de
Existentes
Diseños 3D Existentes
Existentes
Diseños 3D Existentes
D3D
-
DE
D3D
-
DE
A
-
C, A
-
RE
A
-
C, A
-
RE
Diseño 3D del EVH
Diseño 3D del EVH
D3D
-
DA
D3D
-
DA
Diseño 3D de los Avatares
Diseño 3D de los Avatares
52
El Diseño 3D del EVH
53
Mapas de Vistas
Vista Superior de Elementos
Vista Superior de Zonas
54
Mapas de Vistas
Vistas Laterales
Vista 3D (caballera)
55
Formulario de modelado 3D del EVH

• FormModelado3DSubEVH.doc

56
Modelo de Proceso Propuesto
PROCESOS DE DESARROLLO
PROCESOS DE DESARROLLO
Todas las tareas
Todas las tareas
y técnicas
y técnicas
Análisis
Análisis
propuestas son nuevas
propuestas son nuevas
Algunas de las tareas
Algunas de las tareas
Diseño
Diseño
y técnicas
y técnicas
propuestas son nuevas
propuestas son nuevas
Diseño de Elementos
Diseño de Elementos
Diseño 3D
Diseño 3D
Multimedia
Multimedia
Se propone el uso de
Se propone el uso de
Diseño de la
tareas y técnicas de otras
Diseño de la
tareas y técnicas de otras
Diseño
Diseño
disciplinas
disciplinas
Arquitectura Interna
Arquitectura Interna
del Sistema
del Sistema
de los Componentes
de los Componentes
PROCESOS DE
PROCESOS DE
Implementación
Implementación
GESTIÓN
GESTIÓN
Implementación de
Implementación de
PROCESOS
PROCESOS
Componentes de Soporte
Componentes de Soporte
Estimación
Estimación
INTEGRALES
INTEGRALES
Implementación del
Implementación del
Verificación y
Verificación y
Módulo Principal
Módulo Principal
Validación
Planificación
Validación
Planificación
57
El Proceso de Diseño de la Arquitectura Interna
de los Componentes
Modelado
de la
Modelado
de la
DAI
-
MP
DAI
-
MP
Percepción
Percepción
DAI
-
SMCI
DAI
-
SMCI
A
-
C
A
-
C
A
-
C, A
-
ME,
A
-
C, A
-
ME,
DAI
-
DMR
DAI
-
DMR
A
-
MD
A
-
MD
Selección
y
Modelado
de
las
Selección
y
Modelado
de
las
Características Internas
de
los
Características Internas
de
los
Diseño
del
Modelo
de
Diseño
del
Modelo
de
Componentes
Componentes
Razonamiento
y
Decisión
Razonamiento
y
Decisión
D3D
-
DE, D3D
-
DA
D3D
-
DE, D3D
-
DA
DAI
-
DFA
DAI
-
DFA
Diseño Físico de las
Diseño Físico de las
Animaciones
Animaciones
58
(No Transcript)
59
Nuestro Objetivo

• Proponer un marco metodológico para el desarrollo
  de EVs bajo el prisma de la IS, para mejorar una
  serie de parámetros de calidad del software
  obtenido
• Caracterización de los elementos que pueden
  aparecen en un EVH, así como sus comportamientos.
  
• Una arquitectura genérica para EVHs.
• El conjunto de procesos necesarios para
  desarrollar EVHs, así como las tareas de que se
  compone cada proceso y las relaciones entre
  éstas.
• La estrategia de desarrollo que se debe seguir. 
• Tesis doctoral finalizada en 2001 (Mª Isabel
  Sánchez)

60
Desarrollo IterativoProcesos en Iteraciones
Iteración 1
Iteración 2
Iteración 1
Iteración 2
Iteración 3
Iteración 4
Iteración 3
Iteración 4
40
40
A
A
60
60
75
75
D3D
D3D
25
25
DEM
DEM
100
100
50
50
33,3
33,3
DS
DS
16,7
16,7
75
75
DAI
DAI
25
25
70
70
ICS
ICS
20
20
10
10
10
10
50
50
IMP
IMP
16,7
16,7
16,7
16,7
16,7
16,7
33,3
33,3
VV
VV
50
50
15,5
15,5
100
E
100
E
P
P
100
100
61
(No Transcript)
62
Índice

• Presentación
• Introducción a la Realidad Virtual y los Entornos
  Virtuales
• Dispositivos de Realidad Virtual y Realidad
  Aumentada
• Desarrollo de Entornos Virtuales
• Agentes Virtuales Inteligentes
• Algunos Proyectos de la UPM

63
Habitantes de un Entorno Virtual

• AVATARES
• AGENTES VIRTUALES
• Es un agente
• Es más o menos inteligente
• Está encarnado
• Adopta una representación corpórea (generalmente
  con forma humana) (embodiment)
• Habita un entorno virtual
• No sólo percibe observaciones de un entorno
  externo, sino que forma parte del mismo entorno,
  y debe ser capaz de desenvolverse, percibir e
  interactuar en él

64
Modelo de Organismo
65
Modelo de Organismo
66
Percepción en un AVI

• Un AVI debe percibir y ser consciente de los
  objetos y seres que le rodean.
• Sentidos y Procesos sensoriales captura de
  estímulos del entorno
• imágenes, sonidos, sensaciones táctiles, olores,
  sabores
• Procesos perceptivos clasificación de las
  experiencias sensoriales en categorías conocidas
• objetos, situaciones, sonidos, voz
• En los seres humanos las capacidades perceptivas
  están limitadas

67
Percepción en un AVI

• Tesis doctoral de Pilar Herrero (2003) modelo
  de percepción para AVIs
• Conceptos tomados de un modelo de Consciencia
  (Awareness) en CSCW
• Focus, Nimbus, Fronteras,
• Adaptación para ser utilizados por un agente
  inteligente
• Adición de aspectos de percepción humana
• Visual agudeza visual, visión lateral
• Auditiva agudeza auditiva, localización de
  fuentes

68
Modelo de Organismo
Procesamientocentral
Percepción
Acción
69
Procesamiento Central

• Razonamiento
• Selección de comportamientos
• Aprendizaje
• Atención
• Motivación
• Sentimientos

70
Nuestro ModeloArquitectura General

• Tesis doctoral de Ricardo Imbert (2005)
  Arquitectura Cognitiva Emocional para AVIs

71
Creencias del AVI
72
Tipos de Creencias

• Características definitorias
• Estados transitorios
• Actitudes
• Modelo Interno
• Personalidad
• Emoción
• Actitudes

73
Arquitectura del Nivel Reactivo
74
Arquitectura del Nivel Deliberativo
75
Modelo de Organismo
Procesamientocentral
Percepción
Acción
76
Subsistema de Acción

• Categorías de acciones
• Comunicación Verbal
• El lenguaje natural es una barrera
• Comunicación No-verbal
• Movimientos
• Interacciones con el entorno
• Mecanismos de acción
• Síntesis/reproducción de voz
• Animaciones
• Expresiones faciales

77
Índice

• Presentación
• Introducción a la Realidad Virtual y los Entornos
  Virtuales
• Dispositivos de Realidad Virtual y Realidad
  Aumentada
• Desarrollo de Entornos Virtuales
• Agentes Virtuales Inteligentes
• Algunos Proyectos de la UPM

78
Algunos Proyectos de la UPM

• Prvir
• Simu2
• Vrimor
• Maevif

79
PRVIR

• Realizado para DTN-Central Nuclear de Vandellós
  (1999-2000)
• Sistema de Formación en Protección Radiológica
• Combinación de Multimedia y EVs
• Herramientas y lenguajes
• 3D Studio, DirectX, Visual C, MFC

80
PRVIR

• Los escenarios virtuales se usan para aprendizaje
  de procedimientos
• Entrada en zona controlada
• Salida de zona controlada
• Paso por zona de tránsito
• En tres pasos
• Visualizar trayectoria en el escenario (vista de
  pájaro)
• Visualizar procedimiento a realizar (vídeo
  pregrabado)
• Entrenarse

81
PrVir
82
PRVIR

• En modo Entrenamiento hay un tutor inteligente
  (no personificado) que supervisa la actuación del
  estudiante
• Sigue la arquitectura de un Sistema Inteligente
  de Tutoría (SIT)

83
Algunos Proyectos de la UPM

• Prvir
• Simu2
• Vrimor
• Maevif

84
Simu2

• Realizado para Tecnatom-Central Nuclear de
  Almaraz (2000-2002)
• Sistema de Planificación de Intervenciones en
  Entornos Radiológicos
• El objetivo es encontrar la forma de realizar la
  operación con la menor dosis acumulada para los
  operarios que intervienen en ella
• Herramientas y lenguajes
• 3D Studio, DirectX, Visual C, MFC

85
Simu2

• El reto es proporcionar un maniquí fácilmente
  manipulable por un usuario no informático
• Se proporciona un conjunto de animaciones
  predefinidas
• Se van registrando las órdenes del diseñador y se
  calcula la dosis recibida por el operario

86
Simu2
87
Algunos Proyectos de la UPM

• Prvir
• Simu2
• Vrimor
• Maevif

88
Vrimor

• Proyecto subvencionado por la UE (2001-2003)
• Objetivos similares a los de Simu2
• Exploración de nuevos tipos de interfaz
• Sistema de reconocimiento de voz
• Ratón 3D (space mouse)
• Gafas estereoscópicas
• Captura del escenario con escáner láser

89
Componentes del Sistema
Escáner Laser
HePSI
Entorno Geométrico- Radiológico (VRML)
VISIPLAN
Trayectorias
Información Radiológica
90
Terminología

• Planificar una Operación es decidir
• Qué operarios intervienen
• Qué subtareas realizará cada operario
• En qué momento se inicia cada subtarea y cuánto
  dura
• Es como definir el guión de una obra de teatro
• Se va dando órdenes a los operarios virtuales y
  ellos obedecen
• El sistema va registrando las decisiones tomadas
• Simular una Operación es
• Hacer que los operarios virtuales ejecuten las
  subtareas planificadas dentro del escenario
• Observar si el comportamiento es el deseado
• Es como ver la obra de teatro
• Se puede intercalar la planificación con la
  simulación

91
Diseño de Subtareas

• Las órdenes a los operarios se pueden dar
• Usando el ratón
• Por voz, usando el micrófono
• Se elige el tipo de subtarea y se concreta cómo
  realizarla (parametrización)

92
Tipos de Subtareas

• De Movimiento
• De Vestuario
• De Interacción con Objetos

93
Vrimor
94
(No Transcript)
95
Algunos Proyectos de la UPM

• Prvir
• Simu2
• Vrimor
• Maevif

96
Proyecto MAEVIF

• Modelo para la Aplicación de Entornos Virtuales
  Inteligentes a la Formación
• Subvencionado por el MCYT

97
Entornos Virtuales Inteligentes para
Entrenamiento (EVIEs)

• Combinación de
• Un Entorno Virtual
• Un Sistema Inteligente de Tutoría
• Una opción prometedora para actividades
  educativas, especialmente cuando la educación
  tradicional puede ser costosa, peligrosa o
  imposible de realizar.

98
Nuestra aproximación

• Una arquitectura abierta y flexible que permita
• Fácil integración de componentes y subsistemas
  nuevos
• Fácil mantenibilidad
• Basada en Agentes Software
• Una plataforma que incorpore un conjunto de
  componentes (agentes) adaptables y configurables
• Una herramienta de autor que permita añadir los
  contenidos de un curso fácilmente

99
Esquema Global
100
Características de un EVIE

• Entorno virtual 3D
• Para el entrenamiento en procedimientos en equipo
• Estudiante representado con un avatar
• Varios estudiantes conectados simultáneamente
• Una simulación subyacente del entorno real
  modelado
• Actuar sobre los objetos del entorno virtual
  tiene efectos sobre la simulación
• El estado de la simulación se refleja
  automáticamente en el entorno virtual
• Cada estudiante debe aprender cómo actuar
  colaborativamente sobre el entorno para conseguir
  ciertos objetivos

101
Tipos de conocimiento a aprender

• Estructura estática del entorno (objetos,
  sub-entornos, conexiones entre sub-entornos)
• Ejecución de procedimientos compuestos de pasos
  para conseguir ciertas metas
• Ir a un cierto lugar
• Hacer un cierto movimiento
• Interactuar de alguna forma con un objeto/agente
  del entorno
• Funcionamiento del sistema simulado
• Interpretar el estado del entorno (un indicador
  rojo indica que la presión del agua es demasiado
  alta)
• Anticipar el efecto que provocará sobre el
  sistema una acción en el entorno (si abro la
  válvula de desagüe, la presión disminuirá)

102
AVIs en un EVIF

• AVIs que jueguen papeles específicos dentro del
  entorno (ej. recepcionista)
• AVI que actúa como Tutor y Supervisor del
  estudiante
• Desempeñar cualquier papel en el procedimiento a
  aprender
• Explicar lo que hace o hay que hacer, y por qué
• Contestar a preguntas del estudiante
• Qué debo hacer ahora?
• Por qué?
• Qué ocurriría si hiciese esto?
• Observar el comportamiento del estudiante durante
  su proceso de aprendizaje (seguir al estudiante a
  través del entorno, y mirarlo)
• Indicar los errores cometidos por el estudiante
  (según el grado de control)
• Dar pistas

103
Retos en el Diseño del Motor de Ejecución

• Arquitectural
• Arquitectura clásica de un SIT

M.Estudiante
M.Experto
M.Tutoría
M.Comunicación

• Nuevos retos
• Multi-estudiante entrenamiento de equipos
• Arquitectura basada en agentes co-operativos
• Basada en Realidad Virtual, posiblemente muy
  inmersivo (HMD, guante, reconocimiento de voz)

Estudiante
104
Arquitectura MAEVIF
105
Graphics and Interaction Subsystem (GIS)

• Una instancia para cada estudiante
• Visión en primera persona
• Válido para cualquier combinación lógica de
  dispositivos de interacción

106
Avatar Reutilizable

• Modelo 3D predefinido
• Librerías para el control del comportamiento del
  avatar por parte del usuario o del agente
• Conjunto predefinido y configurable de
  animaciones (andar, agacharse, levantarse,
  inclinarse, coger un objeto, pulsar un botón)

107
(No Transcript)
108
Tecnologías Utilizadas

• Entorno multi-usuario
• Microsoft Direct Play
• Sonidos
• Microsoft Direct Sound
• Dispositivos
• Microsoft Direct Input
• Virtual Hand
• HMD
• Reconocimiento de voz
• IBM Via Voice

• Desarrollo de los agentes
• Metodología GAIA
• Plataforma JADE
• Java
• Desarrollo del entorno virtual y los avatares
• 3DStudio
• OpenGL
• Visual C
• Distribución y comunicación entre procesos
• Corba

109
El Futuro de los EV

• Dispositivos portables (wearable)
• Acceso a aplicaciones software en cualquier lugar
  y en cualquier momento
• Los agentes adquieren una presencia virtual
  cuando es necesario, posiblemente en una realidad
  aumentada
• Los usuarios interactúan con los agentes como lo
  harían con otros humanos

110
El Futuro de los EV

• Un mundo paralelo de agentes móviles trabajando
  constantemente para nosotros, comunicándose y
  cooperando entre ellos para satisfacer nuestras
  necesidades
• Tesis doctoral de Pedro Pérez Arquitectura
  mixta de agentes móviles y agentes virtuales como
  representantes del usuario de Entornos Virtuales

111
Conclusiones

• Área muy prometedora
• Todavía mucho trabajo por hacer