Diapositiva 1

1
RESUMEN TEMA 3 COMO SABER SI MEDIMOS ALGO CON
PRECISIÓN


Nos indica la confianza que podemos tener acerca
de que las puntuaciones obtenidas
2
Formas de calcular la Fiabilidad miden lo
mismo las 2 formas (A y B)? miden lo mismo las
2 mitades del test? miden lo mismo los
distintos ítems del test? miden lo mismo los
mismos ítems en distintos momentos?
3
Es suficiente la fiabilidad del test para saber
si un test es un buen test? NO, YA QUE UNA COSA
ES SABER QUE UNA MEDIDA ES PRECISA (OBTENEMOS LO
MISMO AL HACER DOS MEDICIONES) Y OTRA ES SABER
QUÉ ES LO QUE ESTÁN MIDIENDO.
4
TEMA IV VALIDEZ 1. INTRODUCCIÓN 2. VALIDEZ
APARENTE 3. VALIDEZ DE CONTENIDO 4. VALIDEZ DE
CONSTRUCTO (ESTRATEGIAS GENERALES) (ANÁLISIS
FACTORIAL) 5. VALIDEZ REFERIDA A CRITERIO
5
1. INTRODUCCIÓN

• Definición del concepto de validez
• evidencia acumulada sobre lo que mide el test.
  Se responde a la pregunta son adecuadas las
  inferencias que se hacen a partir de las
  puntuaciones obtenidas en el test?
• -gt No es un asunto técnico, como la fiabilidad,
  sino teórico.
• -gtNo es una cuestión de todo o nada. No se
  valida el test, sino las inferencias

6

• Ejemplos selectividad/Factor g
• Estamos midiendo la capacidad de asimilar
  conocimientos en la Universidad?
• Predecir si terminará la carrera que elija
• Estamos midiendo la capacidad de resolver
  nuevos problemas?
• Predicción del rendimiento laboral

7
Poblaciones en las que se usará

• POBLACIONES
• Tiempo ? (Actualización de baremos)
• grupo cultural ? (Adaptación de pruebas)
• Ejemplos
• 1.) El mismo test de inteligencia... aplicado en
  2 grupos con entrenamiento específico y sin
  entrenamiento (en el grupo entrenado
  específicamente para puntuar más alto en un test
  de inteligencia, no se mide inteligencia).
• 2.) El mismo test de matemáticas... aplicado en
  2 grupos con distinto tipo de instrucción (la
  resolución de los problemas puede estar
  contaminada por el modo en que el alumno ha
  recibido la instrucción).

8
Usos justificados de los test

• Posibles usos de un test de matemáticas
• - Dar o no un título.
• (el test debe permitir determinar si la persona
  domina las matemáticas necesarias en la actividad
  profesional).
• Posible estudio de validez Ver como hacen el
  test de matemáticas los buenos profesionales y
  eso permitiría fijar puntos de corte.
• - Enviar o no a un programa de recuperación.
• (el test debe informar de las deficiencias
  concretas en matemáticas en las áreas que se van
  a recuperar)
• Posible estudio Determinar qué ítems y
  alternativas incorrectas informan de deficiencias
  que sean tratadas en el programa de recuperación.
  
• - Aceptar o no a un estudiante en un centro de
  estudios.
• (el test debe informar de qué puntuaciones en el
  test son necesarias para rendir bien en el
  centro)
• Posible estudio Un estudio de regresión entre
  rendimiento académico y notas en el test. El
  estudio permitirá saber qué puntuaciones en el
  test se asocian a un rendimiento académico
  razonable.

9
2. VALIDEZ APARENTE

• (NO ES REALMENTE VALIDEZ)
• En algunos casos puede afectar a la validez
  real en función de los efectos de la apariencia
  del test en el que responde
• 1.) Si está demasiado claro lo que pretende medir
  
• Efectos en la Sinceridad
• (Neuroticismo, Agresividad, Sinceridad,...)
• 2.) Si no está muy claro lo que pretende medir
• Efectos en la Motivación
• (Inteligencia, persistencia,...)
• 3.) Si aparentemente no mide lo que dice medir
• Efectos en la aceptación del test (p.e.,
  inteligencia)
• No confundir validez empírica con validez
  aparente!!

10
Escala D

• Nunca he mentido
• Nunca me he asustado ante un peligro
• Nunca he discutido o peleado con otra persona
• Nunca he criticado a otros
• Siempre he estado totalmente seguro de mis
  decisiones.
• Siempre me he comportado desinteresadamente.
• Siempre he comprendido de inmediato todo.
• Siempre me he mostrado agradable al conocer a
  alguien.

11
Test de Reflexión Cognitiva (CRT)

• El número de infectados de una enfermedad se
  duplica cada día. Si sabemos que en 48 días el
  número de infectados sería dos mil, en cuantos
  días se alcanzará el millar de infectados?
• _________ días

Respuesta de la muestra 24 33 47
26 Otras 6
Frederick, S. 2005. Cognitive Reflection and
Decision Making. Journal of Economic
Perspectives. Volume 19, Number 4, Fall 2005, pp.
24-42
http//www.mit.edu/people/shanefre/CRT.pdf
12
Test de Razonamiento

• El viejo dicho ojo por ojo significa que si
  alguien te golpea, tu deberías devolverle el
  golpe si alguién te quema la casa, tu deberías
  quemarle la casa. Cual de los siguientes es el
  principal problema de ese modo de proceder
• a.) Le dice a la gente que ponga la otra
  mejilla
• No permite que se resuelvan los conflictos de
  una manera amistosa.
• Puede ser usado sólo unas pocas veces al año.
• Uno debe esperar a ser atacado antes de poder
  defenderse.

James, L.R. et al. (2005). A conditional
reasoning measure of aggression. Organizational
Research Methods, 8(1), 69-99
13
3. VALIDEZ DE CONTENIDO

• Especificar correctamente el dominio de
  contenido, ya sea a nivel de procesos,
  conocimientos o de conductas.
• Es importante en tests de conocimientos.

14
Tabla de especificaciones Áreas y Objetivos 1.
relevancia (importancia) SON TODOS LOS QUE
ESTÁN? Son relevantes los contenido para medir
el objetivo instruccional? 2.
Representatividad (extensión) ESTÁN TODOS LOS
QUE SON? Están correctamente representados TODOS
los objetivos instruccionales?
15
4. VALIDEZ DE CONSTRUCTO

• DEFINICIÓN
• Constructo Rasgo o estructura subyacente,
  relativamente consistente (y si es un rasgo,
  estable) que da cuenta de una serie de conductas
• Ejemplos inteligencia, autoestima, neuroticismo

16
TEORIA
RENDIMIENTO
ANSIEDAD
En los estudios de validez de constructo se
pretende probar simultáneamente que el test mide
un constructo y, al mismo tiempo, la predicción
de una teoría.
VALIDACIÓN
RENDIMIENTO
TEST
17
Escala MIBOS de peloteo a los superiores
(Orpen, 1996)

• Tu jefe te pide que le acerques a casa. Te viene
  fatal. Lo harías?
• Buscas las ocasiones para mostrar a tu jefe lo
  bien que te cae.
• Tu jefe manifiesta su punto de vista sobre lo
  ocurrido en un programa de televisión. Le dices
  que lo ves como él, teniendo de hecho la opinión
  contraria.
• Orpen, Ch. (1996). Construct validation of a
  measure of ingratiatory behaviour in
  organizational settings. Current Psychology
  Developmental, learning, personality and social.
  15(1), 38-41.

18

• Desde la teoría psicológica se obtienen las
  siguientes predicciones
• - Los jefes se sienten mejor rodeados de
  pelotas, si el peloteo no es exagerado. (Argyle,
  1990)
• - Los superiores tienen una mejor percepción de
  los pelotas, con más futuro en la empresa
  (Turner, 1989)
• Estudio empírico trabajadores ? MIBOS a varios
  jefes.
• Cada superior valoró
• Valoración global ? .40
• Gusto por su compañía? .36
• Eficacia laboral ? .28
• Éxito futuro laboral ? .31

19
Validez de constructo
20
ESTRATEGIAS GENERALES PARA COMPROBAR LA VALIDEZ
DE CONTRUCTO

• Comparación de grupos criterio
• Experimentales
• Correlacionales
• Validez multirasgo-multimétodo

21

• Estudios con grupos criterios comparación de
  grupos que difieran teóricamente en el rasgo
• Trastornos psicopatólogicos... (p.e., MMPI,
  grupos con patología-sin patología)
• Lesiones cerebrales... (p.e., baterias
  neuropsicológicas, con lesión-sin lesión)
• Conocimientos (p.e., grupos expertos/novatos)
• ...

22
Manipulación experimental de factores
manipulación de condiciones experimentales y
observación de los efectos

• Ejemplo
• Se quiere saber si un test mide actitud
  (positiva) ante la eutanasia.
• Es una actitud, por tanto será modificable y
  podrá variar tras una intervención.
• Se forman dos muestras al azar. Cada grupo ve uno
  de dos vídeos
• Vídeo 1- Reportaje sobre las malas condiciones de
  vida de algunos enfermos crónicos
• Vídeo 2- Reportaje sobre los riesgos de una
  eutanasia aplicada sin control

ANOVA Prueba t de Student
Instrucción ? aprendizaje (motivación) Terapia ?
recuperación (depresión) Condición
Experimental?Deseabilidad Social
23
Correlaciones con otros constructos relacionados
Relaciones entre el BFQ, EL EPQ Y EL STAI-R
24
Test de Reflexión Cognitiva (CRT)

• El número de infectados de una enfermedad se
  duplica cada día. Si sabemos que en 48 días el
  número de infectados sería dos mil, en cuantos
  días se alcanzará el millar de infectados?
• _________ días

Frederick, S. 2005. Cognitive Reflection and
Decision Making. Journal of Economic
Perspectives. Volume 19, Number 4, Fall 2005, pp.
24-42
http//www.mit.edu/people/shanefre/CRT.pdf
25
Relaciones entre el CRT, SAT y NC

• ESCALA PARA MEDIR NECESIDAD DE COGNICIÓN
• Me atraen más los problemas muy complejos que los
  sencillos.
• Prefiero pensar el mínimo necesario en cada caso
• Para mí es suficiente saber que las cosas
  funcionan me importa poco cómo o por qué
• TAREA EXPERIMENTAL
• PREFIERES 3400 AHORA O 3800 EL MES QUE VIENE?

26
VALIDEZ CONVERGENTE-DISCRIMINANTE Ó
MULTI-MÉTODO-MULTIRASGO (MMMR)

• DEFINICIÓN
• Es un procedimiento para sistematizar el análisis
  de lo que mide el test controlando que parte de
  esa varianza sistemática puede ser del
  instrumento utilizado (más que del constructo que
  se pretende medir)

27
PROCEDIMIENTO

• 1.- Varios rasgos, varios instrumentos.
• 2.- Análisis de la
• 2.1.- Convergencia (entre distintos instrumentos
  midiendo un mismo rasgo).
• Si es valido debería obtenerse lo mismo mediante
  distintos métodos.
• 2.2.- Discriminación (de la medida de distintos
  rasgos con un mismo instrumento).
• El método debe permitir discriminar entre los
  distintos rasgos.

28
Ejemplo
El valor .70 es una correlación excesivamente
alta que indica que la entrevista no permite
discriminar bien entre los rasgos de extraversión
y cordialidad. Los valores .35, .40 y .55 son los
coeficientes de validez convergente.
29
Matriz multirrasgo-multimétodo

• Elementos de la matriz
• - Coeficientes
• Monorrasgo-monométodo coeficientes de fiabilidad
  de la diagonal principal (rojo)
• Monorrasgo-multimétodo validez convergente
  (azul)
• Multirrasgo-monométodo correlaciones entre
  distintos rasgos con mismo método (subrayado)
• Multirrasgo-multimétodo correlaciones entre
  distintos rasgos y métodos (verde)
• -Triángulos monométodo
• -Bloques multimétodo

30
Matriz multirrasgo-multimétodo

• Normas de interpretación
• Los valores en diagonal (fiabilidades) han de ser
  los mayores de la matriz (monorrasgo-monométodo)
• Validez convergente de la medida de un rasgo si
  los coeficientes de validez convergente son
  significativos y altos (monorrasgo-multimétodo)
• Validez discriminante de la medida de un rasgo si
• Los coeficiente de validez convergente son
  mayores que los valores de su fila y columna en
  el correspondiente bloque multimétodo.
• Los coeficientes de validez convergente son los
  mayores coeficientes obtenidos en los triángulos
  monométodos.
• El patrón de las relaciones entre los rasgos
  dentro de un triángulo monométodo son similares
  al obtenido en los otros triángulos.

31

• La convergencia por rasgo (V) debe ser mayor que
  la convergencia por método (I) ...
• Una variable debe correlacionar más con otros
  métodos de medir lo mismo que con métodos iguales
  dirigidos a medir rasgos distintos (p.e.,
  comparar V e I).
• Independencia del método en las relaciones entre
  rasgos
• Se debe observar el mismo patrón de relaciones
  entre rasgos independientemente del método
  utilizado.

32
BFQ italiano (10-12 años)