Sin ttulo de diapositiva

1
El papel de la investigación en la definición y
gestión de la calidad educativa datos y
percepciones. Neus Figueras Casanovas nfiguera_at_pi
e.xtec.es
2
La calidad en educación

• Bajan los niveles?
• Cambian las necesidades?
• Cuál es la incidencia de la globalización?
• El papel de la sostenibilidad

3
El dificil equilibrio
Sociedad
Administración
Profesorado
4
Qué es la calidad total?

• El modelo de calidad total
• - misión y objetivos claros y públicos,
• - plan de puesta en práctica desarrollado con
  transparencia y comunicado a todas las partes,
• - está claro quién es responsable de qué,
• - calidad definida y documentada,
• - sistema de evaluación y control operativo,
• - correctivos eficaces a punto.

5
La evaluaciónuna palanca para la mejora

• Actuaciones del Departament dEnsenyament
• Evaluación de centros (20.10.97)
• Evaluación externa
• Evaluación interna
• Evaluación de competencias básicas (2000-04)
• Cb 10 2000-2001
• Cb 14 2001-2002

6
Evaluación de Centros
Evaluación externa
Evaluación interna
Plan de evaluación
Plan de evaluación
Valoraciones y decisiones de mejora
7
Ámbitos de la evaluación de centros

• . Ámbito de la docencia-aprendizaje
• a) resultados de aprendizaje
• b) gestión del currículo
• . Ámbito organizativo
• a) atención y seguimiento del alumnado
• b) gestión de la acción educativa
• c) estructura funcional
• d) gestión de recursos
• Evaluación no equivale a pruebas

La evaluaciónuna palanca para la mejora
8
Para qué sirven las pruebas?

• - Para evaluar lo que han aprendido los alumnos.
• - Para evaluar las habilidades o competencias que
  deben tener para enfrentarse a la vida.

9
Qué es una competencia básica?

• - Se entiende por competencia la capacidad de
  poner en práctica, de forma integrada, en
  contextos y situaciones diferentes, los
  conocimientos, las habilidades y la personalidad
  adquiridos.

10
Evaluación de competencias básicas

• - Conocer el nivel de adquisición de competencias
• básicas por parte del alumnado de 10 y 14
  años.
• - Facilitar a los centros elementos de reflexión
  para
• favorecer la toma de decisiones destinada a
  garantizar
• que todo el alumnado adquiera las competencias
• básicas al finalizar la enseñanza obligatoria.
• - Los resultados obtenidos se gestionan desde el
  mismo
• centro no se publican ni se establecen
  ránkings.
• - Las pruebas proporcionan información adicional
  al
• proceso de evaluación individual de cada alumno.
  

La evaluaciónuna palanca para la mejora
11
La necesidad de investigar

• En educación, las decisiones se basan
  demasiado a menudo en teorias no fundamentadas y
  en el saber popular más que en los resultados de
  una investigación adecuada (van Lier, 1993)

12
Qué se entiende por investigación?

• La investigación como la búsqueda organizada y
  sistemática de respuestas a las preguntas
  formuladas.
• La investigación va más allá de las cifras
  estadísticas.
• La investigación puede centrarse en un aula.

13
Dos ejemplos

• Un estudio sobre la validez de la entrevista semi
  estructurada para evaluar la competencia oral de
  los alumnos de inglés de nivel Elemental (B1) en
  una Escuela Oficial de Idiomas.
• Un estudio sobre la adecuación de los resultados
  de una prueba de certificación a las competencias
  lingüísticas reales de los candidatos.

14
Qué son las Escuelas Oficiales de Idiomas?

• Centros públicos.
• Tres tipos de alumnado diferenciados Oficial,
  Libre, A distancia.
• Dos certificados Certificado de Ciclo Elemental
• Certificado de
  Aptitud.
• Currículos comunes objetivos y contenido.
• Profesorado titulado con contratos fijos y a
  tiempo completo.

15
Un poco de contexto

• Los certificados de E O I en Cataluña.
• - exámenes únicos para la obtención del
  Certificado de ciclo Elemental y del Certificado
  de Aptitud
• - 12 Escuelas
• - 350 profesores
• - 14.000 candidatos al año
• www.xtec.es/eoi

16
Las pruebas únicas

• Introducen la práctica estándar en el contenido,
• la administración y la corrección de pruebas.
• Guían la política educativa, a partir de un
  efecto
• de rebote positivo.

17
Las dificultades

• Práctica ya establecida con anterioridad a las
  pruebas únicas.
• Percepciones distintas según la lengua, la
  escuela, el profesor.
• Recursos limitados.
• Relacionar armoniosamente un enfoque top-down con
  un enfoque bottom-up.

18
Características de las pruebas

• Desarrolladas de acuerdo con especificaciones
• fijadas previamente.
• Sometidas a pilotajes previos.
• Administración estandarizada.
• Corrección estandarizada de acuerdo con
• protocolos consensuados y fijados previamente.
• Analizadas estadísticamente.

19
Las EOI en Cataluña

• Han desarrollado un sistema de certificación
• público, de calidad, estandarizado e
  independiente,
• sostenible,
• válido,
• fiable,
• transparente, y
• con implicaciones pedagógicas positivas.

20
Retos del presente

• Investigar el efecto de rebote de las pruebas.
• Consolidar la dedicación y los recursos.
• Anclaje con los niveles del Marco de Referencia.
  
• Promover y garantizar el reconocimiento
  internacional.
• Implementar las directrices del Marco.
• Mantener las iniciativas de las Escuelas, en un
  marco
• de coordinación general.

21
Dos ejemplos

• Un estudio sobre la validez de la entrevista semi
  estructurada para evaluar la competencia oral de
  los alumnos de inglés de nivel Elemental (B1) en
  una Escuela Oficial de Idiomas.
• Un estudio sobre la adecuación de los resultados
  de una prueba de certificación a las competencias
  lingüísticas reales de los candidatos.

22
1.Es la entrevista una prueba oral válida?

• El problema

23
1.Es la entrevista una prueba oral válida?

• Los pasos
• Estudio preliminar
• Estudio principal
• Implicaciones de los dos estudios
• Conclusiones

24

• 
  Actuación
• Interlocutor Instrumento/Tarea
• Candidato/a
• Competencias

25
Resultados del estudio preliminar

• Lo que dicen los análisis de las actuaciones de
  los alumnos no coincide con lo que perciben los
  examinadores o los alumnos.
• El constructo que en teoría se evalúa no está
  suficientemente representado.
• Se observan fuentes de variabilidad no relevantes
  para el constructo evaluado.

26
Conclusión

• El formato de entrevista semi estructurada no
  permite
• a los responsables de una prueba oral decidir
  sobre la
• capacidad de las personas candidatas para
• funcionar en la vida real.

27
Una prueba oral alternativa variables

• Tres tareas
• - número y tipo de interlocutores
• - cantidad y tipo de input
• - familiaridad con el contenido informativo
• - tiempo y tipo de planificación
• - objetivo comunicativo

28
Estudio principal metodología

• Se parte de los resultados del Estudio
  Preliminar, y se formulan preguntas e hipótesis
  de investigación.
• Se replican los análisis realizados en el Estudio
  Preliminar y se comparan los resultados.
• Se puntúan las distintas actuaciones y se
  comparan los resultados.

29
Estudio Principal Resultados

• Los análisis estadísticos muestran que la prueba
  oral alternativa representa el constructo a
  evaluar de forma distinta.
• La prueba oral alternativa genera un lenguaje más
  variado y permite emitir juicios sobre cómo
  funcionarán las personas candidatas en la vida
  real.
• No hay diferencias significativas en los
  resultados.
• El análisis de las actuaciones identifica las
  dificultades de los alumnos para expresarse
  oralmente en situaciones de vida real.

30
Implicaciones de los estudios

• Para la evaluación
• Para la docencia

31
Conclusiones

• Es posible desarrollar de pruebas orales basadas
  en evidencia empírica que muestren ejemplos de
  uso de lengua en la vida real.
• Es posible diseñar pruebas válidas a priori para
  garantizar un efecto de rebote positivo.
• Es necesario tratar la evaluación de forma
  sistemática, planificando las acciones y
  dotándolas de los recursos necesarios, para
  garantizar una buena práctica evaluativa y
  docente.

32
2. El estudio de los resultados de pruebas

• El problema

33
2. El estudio de los resultados de pruebas

• Los resultados de las pruebas
• Las percepciones del profesorado

34
Porqué se analizan resultados y percepciones?

• Para aprender, y para mejorar
• Cuestiones relativas a la elaboración,
  administración, corrección y gestión .
• Cuestiones relativas al contenido de las pruebas.
• Aspectos pedagógicos (aprendizaje)
• Aspectos académicos (docencia)

35
Las percepciones

• Feedback directo durante el proceso de
  administración y corrección de las pruebas
• no ha hecho falta adaptar notas, no suspende
  ningún alumno que no deba suspender

36
Gráfico
37
Las percepciones

• Comentarios en los cuestionarios de profesores
• sobre una de las partes ( Gramática )
• Correcto, OK (12 profesores)
• Bien (10 profesores)
• Muy bien (1 profesor) Asequible (1 profesor)
• Excesivamente fácilNot demanding enoughLa
  mejor, por lo que se refiere a resultados - la
  tarea 2 era fácil quizás para compensar? (1
  profesor cada una)

38
Los resultados

• Apto
• T1 48,7
• CE T2 42,5 60,7
• T3 74,2
• T1 48,4
• C0 T2 49,5 58,5
• T3 53,3
• CG T1 51,9
• T2 32,8 35,7
• EE 43,8
• EO 57,1
• TOTAL 48,2

39
Conclusiones

• - Los resultados de las pruebas no sólo son un
  indicador de los aprendizajes de los alumnos,
  sino también un indicador de la eficacia del
  sistema, del currículum, de la metodología y de
  la docencia.
• - Es importante estudiar TODOS los datos (los
  resultados y las percepciones) en su contexto y
  de forma sistemática

40

• - Se deben tener en cuenta las opiniones y las
  percepciones de TODOS los usuarios.
• - Las discusiones pueden generarse de arriba
  hacia abajo o de abajo hacia arriba, pero deben
  ser exhaustivas y dirigirse hacia la comprensión
  de los hechos.

41
De nuevo a la calidad

• - La calidad como necesidad.
• - La evaluación como instrumento.
• - La investigación como recurso.