Evaluaciones Nacionales del Rendimiento Acad

1
Evaluaciones Nacionales del Rendimiento
Académico

• Lima, 6 de abril de 2008

2
Una definición

• La evaluación educativa, puede ser entendida como
  un proceso mediante el cual se recoge, organiza,
  analiza y sistematiza información de un sistema
  educativo, según objetivos previamente
  determinados, de modo que permita tomar
  decisiones fundamentadas sobre el proceso
  educativo.

3
Funciones de la Evaluación

• Toma de decisiones sobre la intervención
  pedagógica
• Retroinformación sobre logros
• Refuerzo reconocer esfuerzo y rendimiento
• Autoconsciencia procesos de aprendizaje, puntos
  fuertes y débiles

Reátegui, Arakaki y Flores, 2001
4
Evaluaciones de Sistema

• Existe consenso en que el logro de aprendizajes
  de los estudiantes es uno de los principales
  indicadores de la calidad del sistema educativo.
• Busca generar información sobre dichos logros y
  sobre un conjunto de factores escolares y
  extraescolares que inciden en los rendimientos de
  los estudiantes para poder explicarlos desde una
  perspectiva de equidad.

5
Evaluaciones de Sistema

• Cobran una gran importancia en latinoamericana y
  se desarrollan junto con el diseño e
  implementación de las reformas educativas de los
  años 80 y 90.
• Responden a la necesidad de contar con
  información sobre el sistema educativo y sus
  componentes, con la finalidad de colocar la
  calidad de la educación como tema central y
  prioritario de la agenda pública.

6
Proceso de las Evaluaciones Nacionales
APLICACIÓN DEFINITIVA
ELABORACIÓN DEL MARCO DE EVALUACION
ELABORACIÓN DE INSTRUMENTOS
DEFINICIÓN DE NIVELES DE DESEMPEÑO
APLICACIONES PILOTO
ANALISIS DE RESULTADOS
ELABORACIÓN DE REPORTES
DIFUSIÓN
7
Elaboración del Marco de Evaluación
8
Qué es un marco de evaluación?
Integra los conceptos sobre los cuales se
fundamentará una evaluación, plasmándolos en un
documento.
9
El marco de evaluación
Contextuales

• Disciplinares

ASPECTOS
Metodológicos
10
Aspectos contextuales

1. Propósito de la evaluación
2. Objeto de evaluación
3. Características de la población a evaluar
4. Usuarios de la evaluación

11
Aspectos Disciplinares

1. Enfoque del área
2. Dimensiones a ser evaluadas
3. Estructura de las pruebas

12
Aspectos Metodológicos

• Número de ítems de la prueba
• Formatos de ítems a emplear
• Distribución de los ítems en la prueba
• Duración de la prueba

13
Las Áreas a Evaluar

• Es posible evaluar diversas áreas a nivel de
  sistema.
• El primer paso es establecer un enfoque de área y
  adoptar una definición.

14
Comprensión de Textos

• Proceso en el que el lector utiliza sus
  conocimientos previos (conocimiento del mundo y
  del lenguaje,y pautas culturales) para
  interactuar con el texto y reconstruir su
  sentido.

15
Modelo de evaluación
TIPOS DE TEXTOS
CAPACIDAD
PREGUNTA
USOS DE LA LECTURA
16
Consideraciones generales

• Es posible plantear una serie de capacidades
  generales, necesarias en todas las áreas del
  saber, y también una serie de capacidades
  específicas, propias de cada disciplina y de cada
  contexto.
• Las capacidades específicas pueden caracterizarse
  a través de una serie de destrezas o habilidades
  que, a su vez, suponen poner en juego una serie
  de recursos.

17
Selección de Capacidades

• Es necesario determinar qué capacidades generales
  y específicas se evaluarán, qué habilidades y qué
  recursos exigen poner en juego y en qué medida.
• Además hay que establecer la proporción de
  capacidades según el enfoque del área, que
  prioriza ciertos aspectos de la misma.
• Debe considerarse el nivel, ciclo o grado a
  evaluar , por la importancia que se concede a
  cada una de las capacidades según dichos aspectos.

18
Criterios para la selección de las capacidades a
evaluar

• Relevancia para que el estudiante pueda afrontar
  exitosamente situaciones de la vida cotidiana en
  contextos escolares, familiares y comunales. Por
  ello se privilegian capacidades que desarrollen
  aspectos pragmáticos de la vida académica y
  laboral antes que otros aspectos.
• Importancia para la continuación de estudios.
• Concordancia con la naturaleza de los
  instrumentos de evaluación (pruebas escritas con
  ítemes de opción múltiple y de respuesta
  abierta).
• Posibilidad que las capacidades evaluadas sean
  acordes con las exigencias técnicas,
  administrativas, logísticas y temporales de una
  evaluación de sistema.

19
Comprensión de Textos
Capacidades Se refieren a las habilidades que
el lector pondrá en juego al realizar las áreas
que se le proponen y que pretenden simular los
tipos de tareas que los estudiantes enfrentan en
situaciones auténticas.
20
Selección de Desempeños

• Un desempeño es la actuación del estudiante ante
  una tarea determinada y que permite indagar por
  lo que sabe y puede hacer.

21
Comprensión de Textos
Desempeño

1. Identifica ideas específicas expresadas en una,
   dos o más proposiciones.
2. Identifica secuencias.

22
Comprensión de Textos
Desempeños

1. Reconoce relaciones semánticas expresadas entre
   dos o más proposiciones sucesivas o distantes.
2. Identifica referentes de distinto tipo.
3. Reconoce el significado de palabras o expresiones
   a partir de lo leído.
4. Reconoce el tema central y las ideas principales
   del texto.
5. Deduce el propósito del texto.
6. Deduce el receptor implícito al que se dirige el
   texto.

23
Comprensión de Textos
Desempeños

1. Evalúa el contenido del texto.
2. Identifica y evalúa recursos formales del texto.

24
Tipos de Textos

• Un texto es el entramado de ideas relacionadas
  que forman una unidad global de significado y de
  sentido. Puede estar organizada en uno o más
  párrafos (cuentos, noticias, ensayos, etc.) así
  como estar organizada con una estructura gráfica
  notoriamente distinta de la prosa estándar
  (cuadros, avisos, afiches publicitarios,
  infografías, etc.).

25
Tipos de Textos

• Texto narrativo es aquel que representa una
  secuencia de hechos en una historia temporalmente
  ordenada (linealmente, de fin a principio, etc.).
  En este tipo de texto se relatan hechos vividos
  por personajes reales o imaginarios en un periodo
  de tiempo.
• Texto descriptivo es aquel que ofrece
  información concreta acerca de cómo es o ha sido
  una persona, animal, experiencia, objeto. Este
  tipo de texto presenta características y
  circunstancias ordenadas en el espacio.

26
Tipos de Textos

• Texto expositivo o también llamado explicativo,
  es aquel que explica cualquier tema o materia e
  informa acerca de algo.
• Texto argumentativo es aquel que apoya o
  discrepa de una afirmación cuya validez es
  cuestionable o discutible. Todo texto
  argumentativo tiene como meta persuadir o
  convencer a la audiencia a la que se dirige
  acerca del valor de la tesis para la cual busca
  aprobación.

27
Usos de la Lectura

• Lectura para uso recreativo generalmente es un
  tipo de lectura privada que busca recrear mundos
  ficcionales. Los textos narrativos se encuentran
  en este tipo de lectura.
• Lectura para uso público se usa esta lectura
  para conocer las actividades políticas, sociales,
  culturales, económicas de la sociedad. Incluye el
  uso de documentos oficiales y de información
  acerca de acontecimientos públicos como las
  noticias, comunicados oficiales, certificados,
  etc.
• Lectura para uso educacional se utiliza esta
  lectura con un propósito instructivo relacionado
  con la adquisición de información como parte de
  una tarea de aprendizaje más amplia.

28
Formación Matemática

• Dominio de habilidades y conocimientos
  matemáticos útiles para desempeñarse eficazmente
  ante situaciones problemáticas novedosas o
  rutinarias, cuya solución requiera la puesta en
  práctica de dichas habilidades y conocimientos.

29
Modelo de evaluación
CONTENIDO
CAPACIDAD
PREGUNTA
CONTEXTO
30
Formación Matemática
Capacidades Se refieren a las habilidades
matemáticas complejas que el estudiante pondrá en
juego al realizar las áreas que se le proponen y
que pretenden simular los tipos de tareas que los
estudiantes enfrentan en situaciones auténticas.
31
Formación Matemática
Desempeños

1. Resuelve situaciones problemáticas referidas a
   los números y la numeración, en los números
   naturales hasta diez mil y en las fracciones más
   usuales.
2. Resuelve situaciones problemáticas que demanden
   el uso de operaciones básicas en el conjunto de
   los números naturales menores que diez mil,
   decimales hasta las centésimas y fracciones más
   usuales.
3. Resuelve situaciones problemáticas referidas a la
   proporcionalidad directa y porcentaje en el
   conjunto de los números naturales menores que
   diez mil, decimales hasta las centésimas y
   fracciones más usuales.

32
Formación Matemática
Desempeños

1. Resuelve situaciones problemáticas referidas a la
   noción de medida, al uso y a la conversión de
   unidades de las magnitudes fundamentales (masa,
   longitud y tiempo), en el conjunto de los números
   naturales menores que diez mil, decimales hasta
   las centésimas y fracciones más usuales.
2. Resuelve situaciones problemáticas referidas a
   nociones de ángulos y al cálculo de perímetro y
   área de polígonos de hasta seis lados, figuras
   circulares, sólidos geométricos (cilindro, cubo,
   esfera, cono) y a posiciones relativas de dos
   rectas.
3. Resuelve situaciones problemáticas referidas a la
   elaboración e interpretación de diversos
   diagramas estadísticos y a la media aritmética de
   un conjunto de datos.

33
Formación Matemática
Desempeños

1. Utiliza y representa números naturales hasta la
   unidad de millón, números decimales hasta las
   centésimas y fracciones de uso cotidiano.
2. Interpreta, identifica y justifica proposiciones
   verbales o simbólicas referidas al manejo de los
   números y las operaciones en el conjunto de los
   números racionales positivos.
3. Identifica, interpreta y compara cantidades
   expresadas en distintas unidades para cada una de
   las magnitudes fundamentales.
4. Identifica, grafica y compara figuras y cuerpos
   geométricos.
5. Identifica, interpreta, grafica, compara y
   justifica información estadística.

34
Formación Matemática
Desempeños

1. Calcula el resultado de operaciones básicas en el
   conjunto de los números racionales positivos.
2. Calcula el resultado de operaciones combinadas en
   el conjunto de los números racionales positivos.
3. Calcula el resultado de operaciones básicas de
   cantidades referidas a alguna de las magnitudes
   fundamentales, expresadas en distintas unidades.

35
Contenidos

• Número y Cantidad se refiere a los diferentes
  conjuntos numéricos en todas sus representaciones
  (enteros, fracciones, decimales) sus propiedades
  (tales como la divisibilidad) las operaciones
  aritméticas, la proporcionalidad y sus
  aplicaciones (regla de tres, porcentaje).

36
Contenidos

• Algebra y funciones El álgebra implica descubrir
  leyes o patrones que rigen la relación entre
  diversas variables, independientemente de los
  valores involucrados. Permite transformar
  expresiones matemáticas complejas en otras
  equivalentes y más sencillas. La noción de
  función constituye una idea unificadora de gran
  importancia en la matemática. Las funciones son
  correspondencias especiales entre los elementos
  de dos conjuntos.

37
Contenidos

• Espacio y forma El manejo del espacio y de la
  forma provee a las personas de herramientas,
  tanto para realizar, representar, organizar y
  estructurar sus actividades y movimientos, como
  para organizar su pensamiento y su razonamiento.
  El logro de esta estructuración será posible si
  el sujeto es capaz de comprender las propiedades,
  posiciones, representaciones y transformaciones
  de los objetos y las relaciones entre los mismos,
  lo cual implica comprender las relaciones entre
  las formas y representaciones visuales.

38
Contenidos

• Estadística y probabilidad La estadística
  permite organizar, representar y realizar el
  análisis e interpretación de datos para elaborar
  conclusiones y tomar decisiones sobre una base
  más científica. También posibilita la predicción
  de los comportamientos de determinados fenómenos.

39
Contextos

• Intramatemático trata de las tareas
  específicamente del universo matemático, utiliza
  sus propios símbolos y presentan objetos
  matemáticos sin referirlos o inscribirlos en el
  mundo real.
• Extramatemático ubica los objetos matemáticos
  en relación con los objetos de la vida del
  individuo. Los contextos extramatemáticos pueden
  clasificarse de acuerdo al nivel de uso o de
  familiaridad que tengan para el individuo.

40
Elaboración de las Pruebas
41
Tabla de especificaciones

• Es un instrumento para la elaboración de las
  pruebas.
• Consigna en forma esquemática los conocimientos,
  contenidos, objetivos, competencias, que serán
  objeto de evaluación
• Indica cuantos ítemes o tareas de la prueba
  corresponden a cada contenido, objetivo, aspecto,
  capacidad, etc.

42
Tabla de especificaciones

• Permite apreciar qué es lo que se pretendía
  evaluar con cada ítem de la prueba.
• Permite garantizar que se encuentren todos los
  aspectos relevantes de la competencia.
• Permite apreciar el peso en cantidad de ítemes
  que tiene cada aspecto o capacidad.

43
Tabla de especificaciones
Capacidad Contenido Resolución de Problemas Comunicación Matemática Aplicación de Algoritmos TOTAL
Número y cantidad
Espacio y Forma
Algebra y funciones
Estadística y probabilidad
TOTAL
44
Tabla de especificaciones
Capacidad Texto Obtiene Información Hace inferencias Reflexiona y evalúa TOTAL
Narrativo
Descriptivo
Expositivo
Argumentativo
TOTAL
45
Representatividad de los ítems

• Los ítemes son seleccionados para ser
  representativos aunque de forma imperfecta, del
  saber básico que se puede esperar de un alumno .
• Es importante muestrear la gama completa del
  contenido enseñado e incluir suficientes ítems
  para que la medición sea válida y confiable.
• Se podrá dar cuenta de cuáles son las áreas que
  presentan fortalezas y debilidades.

46
Número de Ítems

• El número de itemes con el que se propone evaluar
  cada una de las áreas es bastante elevado
• Necesidad de distribuir las preguntas en varios
  cuadernillos o formas
• Los estudiantes se enfrentan a un número
  razonable de ítemes que sirven para medir su
  desempeño de manera adecuada.
• Diseño de bloques rotados o de matrices
  incompletas
• cada forma tiene preguntas únicas y preguntas
  comunes a las otras formas
• en conjunto se administra un número amplio de
  preguntas para cubrir un área

47
Formato de ítems
Respuesta cerrada Selección de respuesta Respuesta abierta Producción de Respuesta
Emparejamiento Opción Múltiple Verdadero / Falso (matemática) Respuesta corta Respuesta extendida Tabla de representación (matemática)
48
Construcción de los ítems

• Se han ensayado talleres de construcción de
  ítems.
• Son construidos por los especialistas en las
  áreas curriculares, considerando la tabla de
  especificaciones y anticipando la dificultad de
  los mismos.

49
Construcción de los ítems

• Luego son revisados por otros especialistas,
  sometiéndose a
• Análisis de sus aspectos formales
• Análisis de su representatividad (evidencias de
  validez referidas al contenido).

50
Aplicación Piloto
51
Características

• Tiene como objetivo fundamental estudiar el
  funcionamiento de los ítems.
• Las muestras son intencionales se busca tener un
  buen número de personas que se enfrenten a cada
  ítem (200 mínimo), considerando factores como la
  accesibilidad y variabilidad en rendimientos.

52
Proceso

• Hay que realizar los procesos de
• Selección de aplicadores
• Capacitación de aplicadores.
• Operativo de campo (recolección de datos).
• Supervisión en campo.

53
Codificación de respuestas
54
Objetivos

• Los estudiantes realizan sus respuestas
  directamente en los cuadernillos proporcionados
  por la UMC.
• Por ello es necesario
• Transferir las respuestas de los estudiantes.
• Calificar las respuestas de los estudiantes.

55
Sistema de codificación

• Las respuestas eran calificadas en diversas
  escalas, tanto de naturaleza dicotómica como
  politómica, que tenían una naturaleza
  cuantitativa.
• Por otro lado, acompañaba a la calificación un
  segundo código, que tenía una naturaleza más
  cualitativa (evidenciaba tipos de errores o
  estrategias de solución).

56
Aspectos logísticos

• Se requiere un gran grupo de correctores, pues en
  la EN2004 hubieron cerca de 14 000 estudiantes
  evaluados por grado, para cada una de las áreas.
• Al trabajarse con las valoraciones realizadas por
  los jueces, se encuentra siempre implicado algún
  grado de subjetividad, que trata de reducirse
  mediante la capacitación a los evaluadores y la
  creación de manuales con criterios de
  calificación, que buscan homogenizar las
  evaluaciones realizadas por los jueces.

57
Aspectos logísticos

• Los especialistas de la UMC se encargaron de
  efectuar el diseño de capacitación y de elaborar
  el respectivo manual de codificación.
• Los correctores se encontraban agrupados por área
  y grado, bajo la supervisión de un coordinador y
  los especialistas de la UMC.
• El proceso de corrección estaba organizado según
  los bloques que constituían las pruebas aplicadas
  en la EN 2004.

58
Aspectos logísticos

• Se efectuó un diseño de análisis del proceso de
  corrección aplicando la corrección múltiple en
  tres momentos distintos al inicio, a la mitad y
  al final del mismo.
• El objetivo de estos tres momentos era poder
  retroalimentar sobre las discrepancias y
  deficiencias encontradas en las calificaciones y
  poder corregirlas durante el proceso de
  corrección, a fin de lograr cada vez una mayor
  homogeneidad y entendimiento en el uso de los
  criterios de calificación.

59
Aspectos logísticos

• Los análisis emplearon los aportes de la Teoría
  Clásica de los Tests y el modelo Rasch de Facetas
  Múltiples.
• Los resultados se presentaban en un informe
• Descripción del ajuste y consistencia global en
  el uso de los códigos.
• Índices de confiabilidad inter-evaluadores para
  cada uno de los items, pudiendo así identificarse
  cuales presentaban algún tipo de dificultades.
• Identificación de correctores que estaban
  presentando alguna dificultad en el uso de los
  códigos.

60
Armado de bases de datos
61
Análisis Psicométrico
62
Medición del Rendimiento

• La medición del rendimiento académico puede ser
  entendida, como una cantidad que estima lo que
  una persona ha aprendido como consecuencia de un
  proceso de instrucción o formación es la
  capacidad del alumno para responder al proceso
  educativo en función a objetivos o competencias
• Pizarro, Clark y Allen (1987)

63
Modelos Rasch

• Establece la probabilidad de respuesta de una
  persona ante un ítem en términos de la diferencia
  entre la medida de rasgo de la persona y la
  medida del ítem utilizado.
• La medida de personas e ítems están en la misma
  escala de intervalo.

64
Propiedades Psicométricas
Área de Matemática Confiabilidad Varianza (medida)
Segundo grado de primaria 0,86 80,9
Sexto grado de primaria 0,85 74,6
Tercer grado de secundaria 0,81 75,7
Quinto grado de secundaria 0,80 95,5
65
Aplicación Definitiva
66
Logística

• Requiere una logística similar a las de un
  aplicación piloto, pero a mayor escala.
• Si la población a evaluar es grande será
  necesario contar con un operador logístico.

67
Definición de Niveles de Desempeño
68
Niveles de desempeño

• Se necesitan puntos de corte en las pruebas, que
  reflejen lo que un estudiante sabe y hace dentro
  de dicho nivel.
• Si un estudiante supera dicho punto de corte, se
  considera que posee los conocimientos y
  habilidades necesarias para desempeñarse en
  relación a ciertos estándares académicos.
• Se establecieron en talleres de consulta con el
  procedimiento Bookmark.

69
Procedimento Bookmark

• Diseñado por un grupo de expertos en
  CTB-McGraw-Hill a mediados de 1990.
• A posteriori usa datos reales de la evaluación,
  mapas de ítems (TRI).
• Maneja ítemes dicotómicos y de crédito parcial.
• Se realiza en tres etapas.

70
Insumos básicos para el Bookmark

• Cuadernillos de ítems ordenados
• Según dificultad
• Considerar créditos parciales
• Descripciones generales de los niveles de
  desempeño
• Panel de jueces
• Usualmente 15 a 21
• Expertos
• No expertos (menos)

71
Primera etapa

• Cada juez recibe un cuadernillo, estudia y/o
  resuelve los ítemes.
• Preguntarse Qué hace a un ítem más difícil que
  el anterior?
• Se familiariza con las descripciones generales de
  los niveles de desempeño.
• Establece las marcas para cada nivel

72
Segunda etapa

• Trabajo en grupos pequeños (4 5 jueces)
• Los jueces exponen las razones por las cuales
  eligieron sus puntos de corte
• No se trata de convencer, sólo de exponer
• Se finaliza la ronda con unos nuevos puntos de
  corte y el porcentaje de acuerdo respecto a en
  qué nivel se ubica un ítem en particular

73
Tercera etapa

• Los resultados de la ronda dos son presentados a
  todo el grupo y se debaten los ítemes en los
  cuales no hay un 100 de acuerdo.
• Se presenta además el impacto de los puntos de
  corte.
• Los jueces vuelven a dar sus puntos de corte.
• Se suele trabajar con valores inferiores al 100
  de acuerdo. Si no se logran, se suele tomar la
  mediana.

74
Un paso final

• Los jueces construyen el significado, en función
  a los ítemes, de lo que sabe y puede hacer un
  alumno en cada uno de los niveles de desempeño.
• Algunos prefieren dejar esta etapa para otro
  grupo de expertos. Esto se hizo con los niveles
  de la EN 2004.

75
Niveles de Desempeño
Suficiente
Los estudiantes de este nivel demuestran un
dominio suficiente y necesario en los desempeños
evaluados para el grado.
LOGRA
Los estudiantes de este nivel demuestran un
dominio incipiente o un manejo elemental de los
desempeños desarrollados en el grado evaluado.
Básico
Los estudiantes de este nivel demuestran un
manejo de los desempeños desarrollados en grados
anteriores.
Previo
NO LOGRA
Los estudiantes de este grupo solo pueden
resolver algunas de las tareas del nivel Previo.
lt Previo
76
Análisis de Resultados
77
Sexto grado de primaria COMPRENSIÓN
DE TEXTOS
Nacional Niveles de Desempeño
Suficiente
12,1
Básico
28,1
Previo
35,7
24,1
Debajo del previo
78
Sexto grado de primaria COMPRENSIÓN
DE TEXTOS
Niveles de desempeño según gestión Nacional
79
Sexto grado de primaria COMPRENSIÓN
DE TEXTOS
Comparación de promedios según región
80
Reportes y Difusión