Antecedentes y caractersticas del Proyecto SIES

1
Antecedentes y características del Proyecto SIES

• David Bravo
• Jorge Manzi
• Directores del Proyecto

2
Antecedentes las recomendaciones de la Comisión
de Expertos

• Entre enero y septiembre de 2000 una Comisión de
  13 expertos analizó las actuales pruebas de
  selección y propuso en forma unánime un conjunto
  de recomendaciones, las que fueron presentadas al
  Consejo de Rectores.

3
Antecedentes

• Enero de 2001 aprobación por parte del Consejo
  de Rectores de la propuesta de la Comisión ad
  hoc.
• Abril de 2001 lanzamiento público del proyecto
  SIES.
• Agosto 2001 se comunica que primera aplicación
  de las pruebas para fines de 2003

4
Principales recomendaciones de Comisión Ad Hoc

• Cambiar la actual configuración de 8 pruebas por
  4 pruebas obligatorias (se considera baja
  utilización de pruebas específicas)
• Asegurar que los contenidos evaluados se
  relacionen con el marco curricular de la EM.
• Mantener esquema de ponderaciones mínimas (10
  las pruebas, 20 las notas).
• Fortalecimiento técnico de las mediciones
• Empleo de la Teoría de Respuesta al Item (IRT) en
  lugar de la Teoría Clásica de la Medición.
• Establecer la comparabilidad interanual de los
  puntajes.
• Incorporar la evaluación del sesgo
• Fortalecer el proceso de elaboración de las
  pruebas.

5
La prueba de Ciencias
Versión 1 Sección Común Sección Complementaria
de Biología
Versión 2 Sección Común Sección Complementaria
de Física
Versión 3 Sección Común Sección Complementaria
de Química
Versión 4 Sección Común Sección Complementaria
de Tecnología
6
Principales características de las nuevas pruebas

• Articulación entre la medición de aptitudes
  (habilidades cognitivas) y contenidos
  curriculares.
• Esta articulación se manifiesta en todos los
  modelos de representación del conocimiento las
  habilidades mentales siempre se ejercen sobre
  objetos específicos, no es posible evaluarlas en
  forma abstracta.

7
Modelo de Representación del Conocimiento
8
Modelo de Representación del Conocimiento

• El modelo parte de tres hechos esenciales
• a) todo conocimiento involucra siempre
  habilidades y contenidos.
• b) tanto habilidades como contenidos pueden
  organizarse en un continuo simple-complejo.
• c) el progresivo aprendizaje dentro de un dominio
  converge en la integración de estos dos
  continuos.

9
Modelo de Representación del Conocimiento

• Cómo es esta gradiente de conocimiento?

10
Modelo de Representación del Conocimiento

• El conocimiento básico se representa como
  conceptos y relaciones simples que corresponden
  al lenguaje básico de una disciplina (el lenguaje
  básico corresponde a las distinciones
  conceptuales mínimas necesarias para iniciarse en
  el conocimiento de un dominio).
• Los verbos que describen a este cuadrante son
  distinguir, identificar, reconocer, recordar.

11
Ejemplo Pregunta Parte I(cuadrante I)

• Cómo se denomina al conjunto de
• transacciones que se realizan entre los
• compradores y vendedores de un bien o servicio?
• A. mercado D. empresa
• B. oferta E. intercambio
• C. demanda

12
El conocimiento avanzado se representa como
conceptos relacionados entre sí, que forman
esquemas conceptuales complejos, aunque no
flexibles (el lenguaje avanzado corresponde al
conocimiento que posee un aprendiz avanzado en el
dominio). Los verbos que describen este tipo de
conocimiento son esencialmente los mismos que el
cuadrante I, pero aplicados a conceptos de nivel
mas general.
13
Ejemplo Pregunta Parte II (cuadrante II)

• Al analizar las rectas L1 y 2x - 5 L2 x 2y
  8 y
• L3 3y - 6x 7, cuál es la conclusión más
  completa que se puede deducir respecto de ellas?
• A. Se cortan formando un triángulo. (0 pto.)
• B. L1 es paralela con L3. (1 pto.)
• C. L1 es perpendicular con L2. (1 pto.)
• D. L2 es perpendicular con L1 y L3. (2 ptos.)
• E. Son tres rectas paralelas, no hay puntos de
  intersección. (0 pto.)

14
El conocimiento avanzado, integrado con
habilidades superiores de pensamiento, se
representa como conceptos relacionados entre sí,
que forman esquemas conceptuales complejos y
flexibles. Esta flexibilidad permite la
creatividad y la producción de conocimiento nuevo
dentro del dominio (este conocimiento corresponde
al conocimiento que posee un experto en en el
dominio).
15
Ejemplo Pregunta Parte II (cuadrante III)

• La figura muestra un recipiente con
• dos compartimentos separados por una
• membrana semipermeable que solo deja pasar el
  agua.
• El compartimento A contiene una solución con
  menos
• concentración de soluto que B.
• Cuál o cuáles de las
• siguientes afirmaciones son correctas?

16
I. Después de unas horas la concentración de los
compartimentos A y B serán iguales. II. Después
de unas horas el nivel de agua en el
compartimento B será mayor que el nivel
inicial. III. Después de unas horas la
concentración de A aumentará y la del
compartimento B, disminuirá. a) solo I (0
pto.) b) solo II (1 pto.) c) solo III (1
pto.) d) I y II (0 pto.) e) II y III
(2 ptos.)
17
Distinción Parte I y Parte II de las Pruebas
18
Aplicación del Modelo de Medición en la
elaboración de las Pruebas SIES

• Cada prueba incluirá 2 partes
• La Parte I apuntará al cuadrante I del modelo
  anterior, que representa el lenguaje básico de
  cada disciplina. En este caso se emplearán
  preguntas con puntuación dicotómica.
• La Parte II apuntará a los cuadrantes II y III,
  que representan aspectos más avanzados del
  conocimiento y el empleo de habilidades mentales
  superiores (comparaciones, razonamiento inductivo
  y deductivo, reconocimiento de patrones, etc.).
  En este caso se emplearán preguntas con
  puntuación policotómica (graduadas)

19
Calendario del Proyecto SIES 2002-2003

• Publicación de primer folleto informativo abril
  2002
• Publicación de Modelos de Pruebas mayo 2002
• Publicación de Pregunta del Día (diario El
  Mercurio y página web www.sies.cl) junio
  2002-octubre 2003
• Estudio experimental 2o semestre 2002
• Aplicación de nuevas pruebas diciembre 2003

20

• FIN DE LA PRIMERA PARTE

21
Parte 2

• Temas y Debates

22
La articulación entre la selección universitaria
y los aspectos curriculares
23
Por qué es conveniente articular las pruebas de
selección universitaria con el curriculum de la
Enseñanza Media?

• Concordancia entre los propósitos de la EM y los
  requerimientos de la ES (lo que es natural si el
  sistema educacional es coherente).
• Valorización del curriculum de la EM y de la
  labor de los profesores. Esto debiera conducir en
  el mediano plazo al mejoramiento de los
  resultados educacionales.
• Énfasis en la formación general.
• Esta articulación coincide con la tendencia
  dominante en todos los países desarrollados,
  incluso con los cambios que se están produciendo
  en USA (país que sirvió de modelo para el
  desarrollo de la PAA)

24
El carácter selectivo de las mediciones
25
El carácter selectivo de las mediciones

• Enfasis en el carácter selectivo de las
  mediciones, y por tanto, en la diferenciación
  individual. Este énfasis supone
• Incorporar preguntas que evalúen diversos
  dominios del conocimiento y que posean diversos
  grados de dificultad.
• Emplear teorías de la medición apropiadas para
  evaluar diferencias individuales (como el enfoque
  IRT).
• (En contraste, pruebas centradas en la evaluación
  curricular enfatizan logros agregados no
  individuales. Emplean otros criterios para
  construir y seleccionar preguntas)

26
La controversia en torno a la equidad en la
medición educacional
27
Antecedentes

• Preocupación general por la brecha existente
  entre establecimientos de diverso tipo de
  dependencia (especialmente entre particulares
  pagados y municipalizados), ratificada en todas
  las mediciones SIMCE y también por los datos de
  la PAA, según informó el DEMRE luego de la última
  aplicación de la PAA.

28
Antecedentes

• Controversia acerca del efecto potencialmente
  regresivo (en términos de la equidad) que
  tendrían mediciones basadas en curriculum versus
  mediciones de habilidades o aptitudes generales.
• Esta controversia se ha reactivado con la
  decisión del Consejo de Rectores en el año 2001
  de acoger la Proposición de una Comisión ad hoc
  en orden a modificar los instrumentos de
  selección universitaria, hacia un conjunto de
  instrumentos basados en curriculum.

29
Cómo abordar esta controversia con la
información existente en nuestro país?

• Nuestro país posee dos grandes sistemas de
  medición en el campo educacional el SIMCE y la
  PAA que contienen mediciones orientadas al
  curriculum (el primero) y a las aptitudes (el
  segundo).
• Hasta ahora no se ha realizado una comparación
  explícita de ambos sistemas de medición con
  respecto al tema de la equidad, aunque se ha
  asumido que el SIMCE reflejaría en mayor magnitud
  las desigualdades que la PAA.
• Por lo demás, es importante tener presente que la
  PAA contiene tanto mediciones que apuntan a la
  aptitud general (PAA-V y PAA-M), como mediciones
  que tienen mayor base curricular (las PCE).

30
Cómo abordar esta controversia con la
información existente en nuestro país?

• La ausencia de una comparación explícita entre
  SIMCE y PAA se debe en parte a que no era
  factible combinar ambos tipos de información, en
  la medida que el SIMCE se reporta a nivel de
  establecimiento, mientras que la PAA lo hace a
  nivel individual.
• Sin embargo, a partir de la aplicación del SIMCE
  de 2o medio en 1998 se abrió una posibilidad
  inédita de contar con información comparativa,
  puesto que la base de datos del SIMCE registró el
  RUT de los examinados y luego, una proporción
  importante de ellos rindió a fines de 2000 la
  PAA. A partir del RUT, como dato identificador
  común, es posible efectuar una comparación
  directa entre ambos tipos de medición.

31
La magnitud de la brecha según tipo de Dependencia

• Magnitud de la brecha en el total de casos
  disponibles en cada base de datos
• Magnitud de la brecha a partir de los estudiantes
  que rindieron ambas pruebas

32
Comparación según tipo de Dependencia. Pruebas de
Lenguaje (comparación basada en estudiantes que
rindieron SIMCE98 y PAA)
33
Comparación según tipo de Dependencia. Pruebas de
Matemática (comparación basada en estudiantes que
rindieron SIMCE98 y PAA)
34
La brecha entre establecimientos Particulares y
Municipalizados en el SIMCE y PAA. (comparación
basada en estudiantes que rindieron SIMCE98 y PAA)
35
La brecha entre estudiantes Humanista-Científicos
y Técnico-Profesionales
36
La brecha entre estudiantes Humanista-Científicos
y Técnico-Profesionales. (comparación basada en
estudiantes que rindieron SIMCE98 y PAA)
37
La brecha entre estudiantes Humanista-Científicos
y Técnico-Profesionales. (comparación basada en
estudiantes que rindieron SIMCE98 y PAA)
38
La brecha entre hombres y mujeres
39
La brecha entre hombres y mujeres. (comparación
basada en estudiantes que rindieron SIMCE98 y PAA)
40
Conclusiones

• Hay inequívoca evidencia de que las pruebas
  basadas en curriculum no se asocian a una brecha
  mayor entre tipos de establecimiento que las
  pruebas de aptitud o competencia general