EL ESTUDIO DEL SESGO EN LOS TESTS

1
EL ESTUDIO DEL SESGO EN LOS TESTS

• DEFINICIÓN DE SESGO
• SESGO EN LOS TESTS
• SESGO EN LOS ITEMS
• 3.1) TIPOS DE SESGO
• 3.2) MÉTODOS DE DETECCIÓN
• 3.3) SOFTWARE

2

• Tests tienen importantes consecuencias.
• LSAT, GRE, SAT, PISA, TIMSS,
• Habrá que asegurarse que lo que el test mide es
  relevante (validez) para lo que se aplica.
• Supuesto lo anterior, las puntuaciones en el test
  o ítems no deben depender de otras
  características (como género, idioma,..)
  distintas a las que el test mide.
• Discriminación en grupos minoritarios
  Afro-americanos, latinos, indios
  _americanos,
• Discriminación por género

3
Perspectiva Clásica Validez Predictiva (sesgo en
relación a la predicción de un criterio externo)
YAXB
2
Y
Y
1
Falacia Igualitarista?
X
X
2
2
Y
Y
1
1
X
X
Educational Testing Service-gtDIF
4
ALGUNOS CONCEPTOS

• Funcionamiento Diferencial del ítem (DIF)
  Existe DIF si la probabilidad de acierto en el
  ítem es distinta para gente de uno y otro grupo,
  teniendo unos y otros el mismo rasgo. Los
  estudios de DIF se ocupan de determinar si los
  ítems tienen o no este problema.
• Funcionamiento Diferencial del test (DTF)
  Existe DTF si la suma de las probabilidades de
  acierto en el test es distinta para gente de uno
  y otro grupo, teniendo unos y otros el mismo
  rasgo.
• Impacto es la diferencia en el rasgo entre los
  dos grupos.
• Sesgo (bias) Efecto que se produce en las
  puntuaciones por alguna fuente de varianza
  irrelevante al constructo (measurement bias) o el
  efecto de tales fuentes en la covarianza entre
  las puntuaciones y un criterio (predictive
  bias). Por tanto, si hay DIF, se requiere un
  estudio del porqué difiere el rendimiento el
  grupo de referencia y el grupo focal, o mayoría y
  minoría. Si un ítem tiene DIF y un panel de
  expertos determina que la diferencia de
  puntuaciones no se debe al constructo medido. El
  DIF es una aproximación para estudiar el sesgo.
• Grupo de referencia/Grupo focal

5
IMPACTO Y DIF
X NRK ARK PRK NFK AFK PFK
0-15 400 40 .1 1000 200 .2
15-30 1000 500 .5 1000 600 .6
30-45 1000 900 .9 400 400 1
Total 2400 1440 .6 2400 1200 .5
Paradoja de Simpson
6
TIPOS DE DIF

• DIF uniforme y no uniforme

7

• What does alto mean?
• Again
• Also
• Countertenor
• High
• In adition
• (ejemplo extraído de De ayala, 2009)

8
Caso real (Ejemplo 1) Rendimiento

• What is the way around this rectangle?
• Answer______
• Cuál es el contorno del rectángulo?
• Grupo P(España) P(USA)
• 0-15 0.15 0.20
• 16-30 0.20 0.30
• 31-45 0.23 0.35
• 46-60 0.40 0.65
• 61-75 0.45 0.70
• 76-90 0.48 0.75

2 inches
4 inches
9
Estudio de DIF (Ejemplo 2) Aptitudes

• Abad, Colom, Rebollo, Escorial (2003) Sex
  differential functioning in the Ravens Advanced
  Progressive Matrices evidence for bias. P.and
  Ind. Diff.
• La media en Raven suele ser mayor en los hombres,
  pese a que no es mayor la media en factor g

10
Estudio de DIF (Ejemplo 3) personalidad

• Reise, S.P., Smith, L. y Furr, R,M. (2001)
  Invariance of the NEO-PI-R Neuroticism Scale.
  Multivariate Behavioural Research, 36 (1),
  83-110.
• Faceta de ansiedad dentro de la escala de
  Neuroticisimo del NEO-PI-R
• Items más fáciles para los hombres
• - A menudo me siento tenso e inquieto
• - Me preocupa con frecuencia por cosas que
  podrían salir mal
• Items más fáciles para las mujeres
• - Tengo más miedos que la mayoría de la gente
• - Me asusto con facilidad
• Funcionamiento Diferencial del test
• Ambos se cancelan.
• Solución? Eliminar ítems? Construir 2 escalas?

11
Aspectos a considerar

• 1.) Si el ítem tiene DIF
• 2.) Si el DIF del ítem es relevante desde el
  punto de vista práctico
• 3.) Si el DIF del ítem se traduce en un test con
  DTF.

12
DIF y multidimensionalidad
Peso en un rasgo secundario alto para el grupo FOCAL Media SD en el rasgo secundario Iguales en los dos grupos
Peso en un rasgo secundario alto para el grupo FOCAL SD en el rasgo secundario Iguales en los dos grupos Media en el rasgo secundario menor en el grupo Focal
13
DIF y multidimensionalidad
Peso en un rasgo secundario alto para el grupo FOCAL Media en el rasgo secundario Iguales en los dos grupos SD en el rasgo secundario menor en el grupo Focal
Peso en un rasgo secundario alto para el grupo FOCAL Media SD en el rasgo secundario menores en el grupo Focal