A paradigm shift in Education: Where too go with assessment?

1
Qué es la competencia? Carlos A. Brailovsky,
MD, MA (Ed), MCFPC (Hon) Centro de evaluación de
ciencias de la salud Facultad de
Medicina Universidad Laval Quebec, Quebec, Canadá
2
Espiral de la educación
3
La competencia Qué es y como se la mide?
4
Evolución del mundo de la evaluación
Nuevos modelos teóricos
Nuevos instrumentos
Nuevos modelos de análisis psicométrico
5
Evolución del mundo de la evaluación
Nuevos modelos teóricos
Nuevos instrumentos
Validación de los instrumentos en elaboración
6

• La competencia
• Constructo multivariado
• Constructo multidimensional

7
La competencia No puede medirsede manera
directa
8
La competencia clínica
9
La competencia profesional
De acuerdo a P. GrandMaison y C.A. Brailovsky
10
La competencia
Su evaluación Cómo indicación del alcance de
los objetivos de formación?
o más bien
11
La competencia
Su evaluación Como puerta de entrada al
ejercicio de una profesión?
12
La evaluación6 preguntas básicas

• Por qué?
• Qué?
• Quién?
• Cómo?
• Cuando?
• Para quién?

13
La competencia

• La capacidad de hacer alguna cosa o la capacidad
  de cumplir una tarea

14
La competencia

• Su evaluación
• Consecuencias
• Imparcialidad
• Complejidad cognitiva
• Calidad del contenido
• Generalisabilidad

15
Estándar de desempeño

• Establecimiento de estándares
• Proceso para la determinación del nivel de éxito
  de un examen
• (nota de éxito/fracaso)

16
Sesgos

• Situaciones particulares en las que la evaluación
  tiene un significado y un impacto diferentes de
  un subgrupo de candidatos al otro

17
Sesgos
Errores introducidos por el contexto específico
de la situación o ligados a la influencia de
variables externas al fenómeno observado
18
Estándar de desempeño
Establecimiento de estándares proceso para la
determinación del nivel de éxito de un examen
(nota de éxito/fracaso)

• Muy a menudo, los estándares elegidos son más
  altos que los estándares de desempeño observados
  en la práctica clínica real

19
Por qué se debe evaluar la competencia?

• La evaluación forma parte integrante del proceso
  educativo
• Para certificar la competencia (evaluación
  sumativa)
• Responsabilidad e imputabilidad
• Para dar retroacción (evaluación formativa)
• Para evaluar los programas de formación
• Para confirmar los valores y los estándares de la
  profesión

20
La competencia
Solución de problemas

Seleccionar Aplicar Ajustar
Los conocimientos
Para afrontar problemas en contextos estables
Modelo de la racionalidad técnica
Schon 1987
21
La competencia profesional

• Representa, para un individuo dado, el grado de
  utilización de los conocimientos, las habilidades
  y el buen juicio asociados a la profesión, en
  todas las situaciones a las que puede
  confrontarse en el ejercicio de su práctica
  profesional.

M.T. Kane, 1992
22
La competencia profesional

• La capacidad (y su nivel) del profesional
• A utilizar
• los conocimientos
• las habilidades
• las actitudes
• la capacidad de juicio
• para solucionar problemas (complejos)
• que se presentan en el campo de su actividad
  profesional

23

• Identificar el problema
• Diagnóstico
• Tratamiento y toma en manos
• Interacción con los pacientes y el sistema
  sanitario

• En relación con
• La diciplina
• contenido
• contexto
• Nivel de formación del candidato

24
Objetivo global de la evaluación sancional

• Asegurarse, en complemento con otros elementos
  de información, que los candidatos que obtienen
  el permiso de ejercicio profesional son
  competentes para practicar la medicina de manera
  autónoma

25
La historia de la evaluación de la competencia
está caracterizada por tentativas constantes de
aproximar lo más posible el mundo de la educación
del mundo de la práctica profesional, tratando de
asegurar condiciones de medida estandarizadas.
CPM Van derVleuten Ad. in Health Sc. Ed. 1996,
141-67
26
Confiabilidad y validez de un instrumento de
medida

• La confiabilidad y la validez de un examen deben
  ser verificadas permanentemente
• Validez aparente
• Validez de contenido
• Confiabilidad
• Validez criteriada
• Validez de constructo

27
La práctica profesional

• Sector complejo
• Difícil a definir
• Difícil a describir

Interacciones profesional/cliente Contexto social
28
Evaluación de la competencia profesional
Tarea difícil y ardua A menudo muy frustrante
pero
Posible
29
Evaluación de la competencia profesional
Indispensable
Elaboración de instrumentos
Confirmar que los profesionales son capaces de
hacer lo que se espera de ellos
30
Profesión

• Organizada alrededor de un
• Corpus global de
• Conocimientos
• Idoneidad
• Aplicaciones practicas

31
Profesión
Responde a Ciertas reglas
Impone Formación Preparación Particulares
32
Evaluación de la competencia
33
Evaluación de la competencia
Imposición decriterios necesarios
Ejercicio dela práctica profesional
34
Evaluación de la competencia
1ra inferencia
35
Evaluación de la competencia
2da inferencia
36
Exámenes escritos tipos de ítems

• Items objetivos
• Elección de respuestas al interior de listas
  sugeridas
• Items subjetivos
• Estructuración de las respuestas

37
Exámenes escritos tipos de ítems

• Item objetivo
• Elección de respuestas
• Muchas preguntas
• Difíciles para redactar
• Fáciles para corregir
• El estudiante está limitado
• Preguntas concisas
• Adivinación de respuestas
• Los resultados dependen del examen en sí mismo

• Item subjetivo
• Construcción de las respuestas
• Respuestas más detalladas
• Difíciles para corregir
• Fáciles para redactar
• Preguntas generales
•  Bluff 
• El corrector puede influir sobre los resultados

38
Exámenes escritos tipos de ítems

• A respuesta construida
• A respuesta construida elaborada
• A respuesta construida corta
• A complemento de frase
• A respuesta elegida
• A elección múltiple (diferentes tipos de
  elección)
• A menú largo (elección simple)
• De apareamiento
• A elección simple (V - F)
• A menú largo (elección múltiple)

39
Exámenes escritos tipos de ítems

• Preguntas de análisis de problemas (QAP)
  (Sherbrooke)
• Simulaciones clínicas escritas (CMFC, CRMCC, CMQ)
• Simulaciones clínicas escritas y enfoque con
  elementos críticos (CMFC y OIIQ)