Mtodo y Modelo para el Apoyo Computacional a la Evaluacin en CSCL

1
Método y Modelo para el Apoyo Computacional a la
Evaluación en CSCL
UNIVERSIDAD DE VALLADOLID DEPARTAMENTO DE
INFORMÁTICA Grupo EMIC

• Tesis Doctoral
• Alejandra Martínez Monés
• Mayo 2003

Directores Dr. Yannis Dimitriadis Dr.
Pablo de la Fuente Redondo
2
Índice

• Introducción
• Apoyo computacional a la evaluación
• Método mixto para la evaluación en CSCL
• Representación de la acción colaborativa
• Trabajo experimental
• Conclusiones y líneas abiertas

3
Índice

• Introducción
• Motivación
• Objetivos
• Metodología
• Apoyo computacional a la evaluación
• Método mixto para la evaluación en CSCL
• Representación de la acción colaborativa
• Trabajo experimental
• Conclusiones

4
Evaluación formativa en CSCL
1.Introducción / Motivación

• Complejidad del dominio CSCL (Computer Supported
  Collaborative Learning)
• Evaluación formativa
• Heramienta estratégica
• Investigación
• Práctica educativa
• No suficientemente tratada en CSCL
• Interés incipiente

5
Evaluación formativa en CSCL
1.Introducción / Motivación

• Teorías
• sociales del aprendizaje (Koschmann, 1996)
• Interacción
• Contexto

Forma de investigación con fines prácticos
(Gimeno Sacristán Pérez Gómez, 1985)
6
Apoyo computacional a la evaluación
1. Introducción / Motivación

• Oportunidad
• Nueva fuente de datos (Littleton, 1999)
• Configurar y estudiar nuevas situaciones
  (Dillenbourg,1999)
• Propuestas actuales
• Prototipos experimentales
• Aspectos cognitivos
• No integrados en evaluación cualitativa
• Poco reutilizables
• Análisis de redes sociales

7
DELFOS
1. Introducción / Motivación

• Elementos (Osuna, 1999)
• Modelo de aprendizaje constructivista
• Arquitectura en capas
• Método de diseño participativo

• Estudio de necesidades (Martínez, 2000)

8
Objetivos
1. Introducción / Objetivos
Evaluación Formativa en CSCL
Aprendizaje Situado

• Métodos cualitativos
• Herramientas
• Aspectos participativos

DELFOS
Objetivos

• Revisar propuestas relativas al apoyo a la
• evaluación formativa en CSCL y proponer
  soluciones
• Enfoques de evaluación
• Modelado computacional de la interacción
• Herramientas

2. Describir un método de evaluación formativa
que integre herramientas automáticas en un
marco que responda a las demandas del
aprendizaje situado
3. Describir un modelo de representación de la
interacción generalizable e independiente de la
perspectiva de análisis
9
Metodología
1. Introducción / Metodología

• Proceso cíclico
• Estudio teórico
• Definición del problema
• Revisión crítica de propuestas existentes
• Propuesta de soluciones
• Aplicación a la práctica real
• caso AO UVA
• Validación con casos de estudio adicionales
• caso IAG-UOC
• Puzle Colaborativo

10
Índice

• Introducción
• Apoyo computacional a la evaluación
• Representación de la acción colaborativa
• Método mixto para la evaluación en CSCL
• Trabajo experimental
• Conclusiones

11
Evaluación Formativa en CSCL
Aprendizaje Situado

• Métodos cualitativos
• Herramientas
• Aspectos participativos

DELFOS
Objetivos
Revisar Propuestas y proponer soluciones
Método de evaluación
Modelo de representación de la interacción
12
2. Apoyo computacional a la evaluación
Tareas realizadas

• Modelado de los sistemas de apoyo a la evaluación
• Ciclo de gestión de la colaboración extendido
• Definición del espacio de diseño
• Identificación de criterios de calidad
• Revisión de propuestas existentes
• CSCL, Interacción Persona-Computador, Ingeniería
  de Software
• Propuesta de soluciones al problema del apoyo
  computacional a la evaluación

13
2. Apoyo computacional a la evaluación
Ciclo de gestión de la colaboración extendido

Fases
14
Definición del espacio de diseño
2. Apoyo computacional a la evaluación
15
Criterios de valoración
2. Apoyo computacional a la evaluación

• Externos
• Transparencia
• Eficiencia
• Escalabilidad
• Independencia del dominio de aprendizaje
• Configurabilidad
• Internos
• Nivel adecuado de abstracción
• Interoperabilidad
• Modularidad

16
2. Apoyo computacional a la evaluación
Revisión del espacio de diseño
Fuente de datos
Recogida de datos
Instrum
Métodos cualitativos (recogida y análisis de
datos)
Análisis
Presentac.
17
2. Apoyo computacional a la evaluación
Análisis de Redes Sociales (SNA)

• Aprendizaje situado y SNA
• Red Social
• Conjunto actores relaciones entre ellos
• Representación
• Matriz de adyacencia / Sociograma
• Medidas
• Globales
• Densidad (?), actividad global de la red
• Centralización (CD), dependencia global de un
  actor
• Individuales
• Centralidad (CD (ni)), actividad del actor (ni)

18
2. Apoyo computacional a la evaluación
SNATécnicas de visualización

• Atributos de imagen
• Escalamiento Multidimensional (MDS)

19
SNADiscusión
2. Apoyo computacional a la evaluación

• Otras experiencias (Wortham, et al., 1999
  Nurmela et al. 1999 Haythornthwaite, 1999
  Lipponen et al., 2001 Cho et al., 2002)
• Confirman el interés del enfoque
• Coinciden en el tipo de técnicas
• Cuestiones no resueltas
• Integración de diferentes fuentes de datos
• Acercamiento de las técnicas a personas no
  expertas
• Complementar SNA con otras formas de análisis

20
Índice

• Introducción
• Apoyo computacional a la evaluación
• Método mixto para la evaluación en CSCL
• Representación de la acción colaborativa
• Trabajo experimental
• Conclusiones

21
Evaluación Formativa en CSCL
Aprendizaje Situado

• Métodos cualitativos
• Herramientas
• Aspectos participativos

DELFOS
Objetivos
Revisar aproximaciones y proponer soluciones
Método de evaluación
Modelo de representación de la interacción
Propuestas evaluación
22
Requisitos
3. Método mixto para la evaluación en CSCL
Método Mixto Evaluación

• Integrar contexto
• Estudio de situaciones reales
• Visión de los participantes

• Nuevas formas de interacción

• Procesos eficientes y escalables

• Sistemas de visualización
• Aspectos participativos

23
Esquema general de evaluación
3. Método mixto para la evaluación en CSCL
Modos de análisis
Grupos discusión
Cuestionarios
Observa-ciones
Datos automat.
Análisis Cuantit.
Fuentes de datos
Análisis Cualitat.
SNA
24
Apoyo computacional
3. Método mixto para la evaluación en CSCL
Profesor /
Participantes
evaluador
Categorías
Observaciones
Respuestas cuestionarios
Nuevas
categorías
NUDIST
Interacciones a través del ordenador
QUEST
Parámetros de configuración
Herramienta
Índices estadísticos
PAQUETE
de
ESTADÍSTICO
colaboración
Acciones
Índices SNA y sociogramas
SAMSA
Fichero DL (formato UCINET)
25
Discusión
3. Método mixto para la evaluación en CSCL

• Aportaciones originales
• No restringido a entornos a distancia
• Estudio de aspectos participativos
• Herramientas de análisis de interacciones
• Validación a través del trabajo experimental

26
Índice

• Introducción
• Apoyo computacional a la evaluación
• Método mixto para la evaluación en CSCL
• Representación de la acción colaborativa
• Trabajo experimental
• Conclusiones y líneas abiertas

27
Evaluación Formativa en CSCL
Aprendizaje Situado

• Métodos cualitativos
• Herramientas
• Aspectos participativos

DELFOS
Objetivos
Revisar aproximaciones y proponer soluciones
Método de evaluación
Modelo de representación de la interacción
Propuestas de modelado de de la acción
Método mixto de evaluación de aspectos participati
vos
28
Acción vs interacción
3. Representación de la acción colaborativa

• Propuesta de definición de interacción
• Supera problema del silencio
• Síncrona / asíncrona potencial / efectiva
• Acción en la base de toda interacción.
• Requisitos representación
• Representación genérica, flexible, e
  interoperable
• Modelado del contexto

Acción que afecta, o puede afectar, al proceso de
colaboración. Una acción es interacción si puede
ser percibida por al menos un miembro del grupo
o comunidad distinto del emisor
29
Propuestas
3. Representación de la acción colaborativa

• Análisis de la colaboración basado en la acción
  (Mühlenbrock, 2000)
• Enfoque inductivo (abajo-arriba)
• Flexible
• No genérica sólo acciones sobre interfaces
  estructuradas
• Ontologías CSCL (Inaba et al., 2001), (Barros et
  al., 2002)
• Enfoque deductivo (arriba-abajo)
• Genérica
• No flexible influido por la perspectiva teórica

30
3. Representación de la acción colaborativa
Características de la propuesta
Contexto
Modelo Acción
Acciones de los participantes
31
Contexto

3. Representación de la acción colaborativa
Notación Bosak et al., 2000
32
Tipos de acción
3. Representación de la acción colaborativa
33
Discusión
3. Representación de la acción colaborativa

• Compromiso flexibilidad vs. estructuración
• Ventajas y limitaciones de XML
• Lenguaje estándar
• Mayores posibilidades de aplicación de la
  propuesta
• Disponibilidad tecnológica
• Sólo nivel sintáctico
• interpretación depende de cada desarrollador o
  usuario
• mayor flexibilidad (potencial ventaja)
• Validación mediante trabajo experimental

34
Índice

• Introducción
• Apoyo computacional a la evaluación
• Método mixto para la evaluación en CSCL
• Representación de la acción colaborativa
• Trabajo experimental
• Conclusiones y líneas abiertas

35
Planteamiento general
5. Trabajo experimental
36
Planteamiento general
5. Trabajo experimental
37
Planteamiento general
5. Trabajo experimental
38
Planteamiento general
5. Trabajo experimental
39
AO UVAResultados
5. Trabajo experimental

• Diseño educativo
• Curso ? Proyecto.
• 5 clientes o casos de estudio
• Niveles de grupo
• Parejas colaboran todo el curso
• Clientes parejas asignadas a uno de los 5 casos
  de estudio
• Niveles de colaboración a lo largo del curso
• 3 subproyectos nivel de parejas
• Proyecto final nivel de clientes
• Herramienta CSCL BSCW (Basic Support for
  Cooperative Work) (Appelt, 1999)
• Objetivo de evaluación
• Estudiar cómo evolucionan las ideas y actitudes
  ante la colaboración de los alumnos, y cómo los
  recursos utilizados influyen en esta evolución.

40
AO UVADiseño de evaluación
5. Trabajo experimental
Colaboración como compartición de información
Modos de análisis
Grupos discusión
Cuestionarios
Observa-ciones
Datos automat.
Análisis Cuantit.
Fuentes de datos
Análisis Cualitat.
SNA
41
AO UVAResultados
5. Trabajo experimental

• Análisis cuantitativo
• Valoración ambiente en clase (encuesta Inicial y
  Final)
• Mejora de la percepción del ambiente en clase

42
AO UVAResultados

• Redes de relaciones indirectas a través de
  BSCW

43
AO UVAResultados
5. Trabajo experimental

• Análisis cualitativo
• Compartir Información BSCW negativo
• Claro, si compartiéramos todo todos, todos
  haríamos el mismo trabajo, todos tendríamos la
  misma nota
• Como nunca hemos encontrado ... nada
  interesante
• En mi caso ha sido fundamental no disponer de
  Internet en casa
• Compartir Información BSCW positivo
• Utilizamos BSCW de manera que la persona
  encargada de ponerlo todo junto lo pudiera hacer
  en casa, y entonces el día siguiente quedábamos
  ...
• BSCW es un método muy útil para compartir
  información, al que siempre puedes volver en el
  momento que convenga. Por mi parte ha sido más
  útil para la elaboración del informe final

44
AO UVAResultados
5. Trabajo experimental

• Conclusiones
• Resistencias culturales y prácticas para
  colaborar
• El método educativo obligó a desarrollar
  mejores prácticas colaborativas
• Mejora de la percepción del ambiente de la clase
• Correcciones formativas
• Aumentar tiempo de trabajo en grupo grande
• Validación de propuestas
• Relevancia y complementariedad de las fuentes de
  datos y métodos de análisis

45
Discusión general
5. Trabajo experimental

• Modelo
• Capaz de representar los diferentes tipos de
  acción considerados
• Nivel apropiado para el análisis computacional
  (SAMSA)
• Método
• Relevancia de las fuentes de datos y modos de
  análisis
• Necesidad de participación de profesores y
  alumnos en el proceso
• Opinión positiva de profesores externos
• Método mixto vs. cuatitativo puro
• Eficiencia, Complementariedad, Triangulación
• Más complejo
• Desarrollo de guías para el diseño de
  experiencias de evaluación

46
Discusión general
5. Trabajo experimental

• Herramientas
• Aumento general de la eficiencia
• SAMSA apoyo al análisis de interacciones
• Quest y Nudist gestión de los procesos de
  evaluación cualitativa
• SNA
• Complementariedad de índices y sociogramas
• Flexibilidad
• Posibilidades de uso de SNA en andamiaje

47
Discusión general
5. Trabajo experimental

• Instrumentación de aplicaciones
• Patrones de diseño
• Filtros (caja negra)
• Envolturas (caja blanca)
• Componentes software y patrones
• Método y dimensión espacio-temporal
• Adaptable a situaciones presenciales, a distancia
  y semi-presenciales
• Adaptable al estudio de interacción síncrona y
  asíncrona
• Método y escenario de colaboración
• Necesidad de un mínimo de complejidad en las
  posibilidades de interacción social
• Tamaño mínimo de grupo 3-4 personas

48
Evaluación Formativa en CSCL
Aprendizaje Situado

• Métodos cualitativos
• Herramientas
• Aspectos participativos

DELFOS
Objetivos
Revisar aproximaciones y proponer soluciones
Método de evaluación
Representación de la interacción

• Sistematización
• Herramientas
• - Concept. acción
• Aprox. Evaluac.

Método mixto eval. de aspectos participativos
Modelo de acción colaborativa En XML
49
Índice
6. Conclusiones y líneas abiertas

• Introducción
• Apoyo computacional a la evaluación
• Método mixto para la evaluación en CSCL
• Representación de la acción colaborativa
• Trabajo experimental
• Conclusiones y líneas abiertas

50
Conclusiones
6. Conclusiones y líneas abiertas

• Objetivo 1 Revisar aproximaciones a la
  evaluación y proponer soluciones
• Contribuciones (I)
• Evaluación educativa Aprendizaje situado como
  síntesis de otros enfoques al estudio del
  aprendizaje
• Paradigma interpretativo
• Aspectos participativos del aprendizaje
• Acción como unidad de análisis
• Necesidad de métodos cualitativos de análisis

51
Conclusiones
6. Conclusiones y líneas abiertas

• Objetivo 1 Revisar aproximaciones a la
  evaluación y proponer soluciones
• Contribuciones (II)
• Modelado computacional de la acción colaborativa
• Criterios operativos para la relación entre
  acción e interacción
• Aproximación inductiva-deductiva al modelo de la
  acción
• Revisión de los sistemas de apoyo al análisis de
  la interacción
• Ciclo de gestión de la colaboración extendido
• Descripción del espacio de diseño con dimensiones
  originales
• Revisión sistemática de las propuestas existentes

52
Conclusiones
6. Conclusiones y líneas abiertas

• Objetivo 2 Describir un método de evaluación
  formativa que integre herramientas con las
  demandas del aprendizaje situado
• Contribuciones
• Propuesta y descripción de un método mixto para
  la evaluación de aspectos participativos del
  aprendizaje en CSCL
• Identificación y uso de medidas y técnicas de SNA
  
• Desarrollo de herramientas de apoyo a la
  evaluación
• Refinamiento de DELFOS
• Mejora del método de evaluación formativa para su
  uso en el proceso de diseño participativo
• Validación a través de diferentes experiencias de
  evaluación

53
Conclusiones
6. Conclusiones y líneas abiertas

• Objetivo 3 Describir un modelo de representación
  de la interacción colaborativa para el apoyo al
  análisis
• Contribuciones
• Modelo de la acción contexto y tipos genéricos
  de acción
• Representación del modelo de la acción en XML
• Refinamiento de DELFOS
• Modelo de la acción colaborativa
• Propuestas más eficientes para la recogida y
  análisis de datos
• Validación mediante las experiencias de evaluación

54
Conclusiones
6. Conclusiones y líneas abiertas

• Objetivo 4 Validación experimental de las
  propuestas
• Contribuciones
• Evaluación AO-UVA, IAG-UOC, Puzle
• Refinamiento de método y modelo
• Identificación de líneas de trabajo futuro

55
Líneas abiertas
6. Conclusiones y líneas abiertas

• Modelo
• Refinar el modelo mediante la aplicación a nuevos
  entornos
• Extender la representación con lenguajes que
  proporcionen semántica
• Aplicación del modelo en el diseño de componentes
  software para CSCL

56
Líneas abiertas
6. Conclusiones y líneas abiertas

• Método
• Refinamiento mediante aplicación a nuevas
  experiencias
• Integración de otras perspectivas de evaluación
• Construcción de conocimiento
• Análisis de redes sociales
• Exploración de medidas y técnicas adicionales
• Aplicación a sistemas orientados al andamiaje
• Aumento de eficiencia y facilidad de uso
• Mayor automatización del análisis de redes
  (Villacorta, 03)
• Explotación de datos representados en XML con
  otras herramientas (Ibáñez, 03)
• Reflexión sobre las contribuciones de las ideas
  planteadas a la Ingeniería del Software en
  general
• Contraste con otras aproximaciones metodológicas
  investigación-acción

57
Publicaciones
6. Conclusiones

• 15 comunicaciones en Congresos y Workshops
  especializados, un capítulo de libro, y un
  artículo de revista más otro en proceso de
  revisión.
• Ciclo de gestión de la colaboración extendido
• Capítulo en Computers and Education Towards a
  lifelong learning society, Kluwer (2003)
• IJAIED (enviado)
• Modelo
• CSCL 03
• Método
• Aplicación del método al caso AO CSCL 02
• Métodos Investigación en Ing. Sw. MIFISIS 02
• Visión global Computers Education (2003)

58
Método y Modelo para el Apoyo Computacional a la
Evaluación en CSCL
UNIVERSIDAD DE VALLADOLID DEPARTAMENTO DE
INFORMÁTICA Grupo EMIC

• Tesis Doctoral
• Alejandra Martínez Monés
• Mayo 2003

Directores Dr. Yannis Dimitriadis Dr.
Pablo de la Fuente Redondo