La autoevaluaci

1
La autoevaluación como método de autoaprendizaje

• Universidad de Oviedo
• Daniel Gayo Avello
• Hortensia Fernández Cuervo
• Fernando Torre Cervigón

2
Situación de partida

• Algorítmica y Lenguajes de Programación es una
  asignatura de 12 créditos
• 6 teóricos.
• 6 prácticos (tablero y laboratorio).
• Impartida en primer curso de Licenciatura de
  Matemáticas de la Universidad de Oviedo.
• Aunque la valoración hacia la asignatura y el
  profesorado por parte de los alumnos era
  positiva
• la encontraban difícil.
• afirmaban estudiar poco o nada.

3
Planteamiento del problema

• Podría crearse un sistema de autoevaluación
  mediante pruebas objetivas en la Web para que los
  alumnos conozcan su su grado de aprendizaje?
• Inconvenientes
• Creer erróneamente que la asignatura sería
  evaluada mediante pruebas objetivas.
• Aprendizaje por respuestas.
• Frustración al aprender, por tratarse de pruebas
  cerradas.

4
Opción alternativa Duck

• Herramienta desarrollada por el Biology Computer
  Resource Center de la Univ. de Massachutts
  Amherst.
• Es un sistema de scripts PHP3.
• Es diferente de una prueba de respuesta múltiple
  por
• El tipo de preguntas...
• De respuesta múltiple.
• De respuesta corta.
• De respuesta extensa.
• El tipo de evaluación...
• No hay respuestas correctas o incorrectas, sino
  que se proporciona un feedback que ayuda a
  resolver las dudas del alumno.
• La navegación...
• No tiene que ser necesariamente lineal.

5
Antecedentes Evaluación y Aprendizaje

• Existen varios estudios sobre la influencia de
  la evaluación en el aprendizaje. Sin embargo,
  ninguno establece una vinculación clara entre
  ambas.
• Algunos ejemplos
• (Serra, 1997) presenta conclusiones sobre una
  aplicación informática de autoevaluación con
  refuerzo, los datos obtenidos son puramente
  cualitativos.
• (Davies, 1999) describe la utilización de
  herramientas de respuesta múltiple como sistema
  de evaluación on-line el objetivo era la
  evaluación no el aprendizaje.
• (Sly y Rennie, 1999) emplean una herramienta de
  evaluación por ordenador como sistema de
  evaluación formativa tampoco vinculan evaluación
  y aprendizaje.

6
AntecedentesAprendizaje operante vs.
significativo

• En las herramientas de autoevaluación se dan
  implícitamente dos tipos de aprendizaje
• Operante
• Aquel en el que la conducta se produce en función
  de sus consecuencias.
• Presente en herramientas tradicionales de
  respuesta múltiple. Al obtener valoración en la
  respuesta (correcta o incorrecta), se provoca el
  refuerzo o la extinción del comportamiento (la
  respuesta del alumno).
• Significativo
• Se logra al establecerse relaciones entre
  conocimientos previos y nuevos conocimientos.
• Duck estaría inspirado por este tipo de
  aprendizaje, pues no aporta valoración sino
  argumentos sobre la pregunta y la respuesta dada
  que permiten al alumno elaborar asociaciones para
  construir su propia solución.

7
Formulación de hipótesis

• Dos cuestiones clave
• El uso de herramientas de autoevaluación on-line
  mejora el aprendizaje?
• La aplicación con realimentación es superior a
  instrumentos de respuestas múltiples?
• Hipótesis
• La utilización de herramientas de autoevaluación
  en la Web mejora el aprendizaje, por parte de los
  alumnos, de conceptos teóricos de programación.
• La herramienta de autoevaluación Duck resulta más
  útil para los alumnos que herramientas de
  respuesta múltiple.

8
MetodologíaIdentificación de variables,
población y muestra

• Identificación de variables
• Variable Independiente (VI) Herramienta de
  autoevaluación.
• Variable Dependiente (VD) Rendimiento académico
• Población
• Alumnos matriculados en ALP en la Licenciatura de
  Matemáticas de la Universidad de Oviedo en el
  curso 2001/2002.
• 39 alumnos de 18 años y 3 de 19 años.
• 23 mujeres y 19 hombres.
• 3 repetidores.
• Muestreo aleatorio estratificado.
• 24 alumnos.
• Distribuidos en tres grupos de 8 personas.
• 4 mujeres y 4 hombres en cada grupo.
• 1 repetidor por grupo.

9
MetodologíaDiseño del experimento

• Diseño multivalente pretest-postest.
• Un grupo de control y un grupo experimental por
  cada herramienta.
• Los tres grupos realizan un pretest y un postest.
• El grupo de control no recibe tratamiento.
• Los grupos experimentales recibirían dos niveles
  de la VI
• Grupo duck herramienta Duck.
• Grupo tradicional herramienta tradicional.

10
MetodologíaProcedimiento (i)

• Las sesiones tuvieron lugar en una de las salas
  de ordenadores de la Facultad de Ciencias de la
  Univ. de Oviedo, durante tres viernes
  consecutivos en horario de mañana.
• Los alumnos fueron informados sobre la forma en
  que se puntuarían las pruebas (pretest).
• No se les informó sobre la naturaleza del
  experimento se les hizo creer que participaban
  en un programa de evaluación de calidad de la
  enseñanza (efecto Hawthorne, desmoralización,
  rivalidad).

11
MetodologíaProcedimiento (ii)
12
MetodologíaProcedimiento (iii)

• Primera Sesión
• Cuestionario para determinar la actitud hacia la
  asignatura (Escala Likert)

• Pretest para precisar rendimiento académico en la
  parte teórica de ALP
• El pretest era un cuestionario con 20 ítems sobre
  Funciones y subrutinas y Recursividad.
• Cada ítem presentaba 4 respuestas de las que sólo
  1 era válida.
• Se penalizaba el azar otorgando 1/2 por acierto y
  -1/6 por fallo.

13
MetodologíaProcedimiento (iv)

• Los grupos duck y tradicional recibieron tras el
  pretest la primera sesión de tratamiento.
• Grupo tradicional
• Una hora con una herramienta de respuesta
  múltiple similar a la utilizada en el pretest.
• Constaba de 40 ítems con 4 respuestas cada uno.
• Permitía saber al alumno
• Si acertaba o fallaba en sus respuestas.
• Cuáles eran las respuestas correctas.
• La nota que obtenía.

14
MetodologíaProcedimiento (v)
15
MetodologíaProcedimiento (vi)

• Grupo duck
• Una hora con una herramienta con 40 ítems.
• Mismos ítems y respuestas que en la herramienta
  tradicional.
• El alumno no obtenía una evaluación de sus
  respuestas sino una explicación detallada que le
  permitía deducir su grado de validez.

16
MetodologíaProcedimiento (vii)
17
MetodologíaProcedimiento (viii)

• Tras el primer tratamiento cuestionario para
  determinar grado de satisfación de cada grupo con
  su herramienta.

18
MetodologíaProcedimiento (ix)

• Segunda Sesión tratamiento Grupos duck y
  tradicional.
• Tercera Sesión
• Cuestionario (Escala Thurstone) a todos los
  alumnos para conocer trabajo personal dedicado a
  la asignatura durante el experimento.

• Postest a los tres grupos (igual que el pretest
  pero alterando el orden de preguntas y
  respuestas).

19
Discusión de resultados (i)

• Se midió
• La actitud de los alumnos ante la asignatura
  (escala Likert).
• Conocimientos teóricos antes (pretest) y después
  (postet) del tratamiento.
• Esfuerzo personal dedicado a la asignatura
  (escala de Thurstone).
• Existen o no diferencias significativas entre
  los grupos antes y después del tratamiento?
• Si los grupos fueran inicialmente equivalentes y
  tras el tratamiento existieran diferencias
  estadísticamente significativas, éstas serían
  debidas al tratamiento, es decir, la herramienta.

20
Discusión de resultados (ii)

• Uso del paquete SPSS.
• ANOVA de un solo factor para actitud, aptitud
  (pretest) y trabajo personal.
• Determinar si la situación del grupo control en
  el postest era equivalente a la original
  (pretest).
• Comparar los grupos experimentales con el grupo
  control y con la situación original de cada
  grupo.
• Uso de la prueba T de Student (contraste de
  puntuaciones medias).
• Comprobar si el grupo duck había obtenido mejores
  resultados que el grupo tradicional.

21
Discusión de resultados (iii)

• Las puntuaciones de los tres grupos en todas las
  medidas seguían distribuciones normales y
  presentaban varianzas homogéneas, por tanto se
  podía aplicar ANOVA y prueba T de Student.
• Los resultados de ANOVA en pretest, prueba de
  actitud y nivel de trabajo mostraron que los 3
  grupos eran equivalentes. Por tanto, las
  diferencias en el postest (de haberlas) serían
  debidas al tratamiento.
• La prueba T de Student demostró que en el postet
  los grupos duck y tradicional presentaron una
  mejoría significativa respecto al grupo de
  control y frente a su situación original.
• El grupo de control empeoró ligeramente pero no
  de forma significativa.
• El grupo duck rindió más que el tradicional pero
  no de forma significativa.
• Se demuestra la primera hipótesis La
  utilización de herramientas de autoevaluación en
  la Web mejora el aprendizaje por parte de los
  alumnos de conceptos teóricos de programación.
• No se pudo demostrar la superioridad de Duck
  frente a herramientas tradicionales de respuesta
  múltiple.

22
Discusión de resultados (iv)
23
Conclusiones

• Se ha demostrado que la utilización de
  herramientas de autoevaluación en la Web facilita
  el aprendizaje de conceptos teóricos de
  asignaturas de programación.
• Los resultados en el postest fueron equivalentes
  para los grupos duck y tradicional pero el grado
  de satisfacción fue mayor en el grupo duck.
• Cuestiones abiertas
• Con qué tipo de herramientas (respuesta múltiple
  o con feedback) se aprende más y mejor?
• Este tipo de iniciativas suele ser aprovechada
  por los alumnos más destacados. Qué hacer para
  fomentar el uso de las herramientas por parte de
  todos los alumnos?

24
La autoevaluación como método de autoaprendizaje

• Universidad de Oviedo
• Daniel Gayo Avello
• Hortensia Fernández Cuervo
• Fernando Torre Cervigón