Evaluaci

1
Evaluación del riesgo de sesgo de los estudios
incluidos
2
Pasos de una revisión sistemática Cochrane

1. Formular la pregunta
2. Planificar los criterios de elegibilidad
3. Planificar la metodología
4. Buscar los estudios
5. Aplicar los criterios de elegibilidad
6. Obtener los datos
7. Evaluar el riesgo de sesgo de los estudios
8. Analizar y presentar los resultados
9. Interpretar los resultados y obtener conclusiones
10. Mejorar y actualizar la revisión

3
Índice

• Riesgo de sesgo en las revisiones sistemáticas
• Evaluación de las fuentes de sesgo
• Llevándolo a la práctica tablas de riesgo de
  sesgo
• Incorporación de los hallazgos en la revisión

4
Qué es el sesgo?

• Error sistemático o desviación de la verdad
• Las revisiones sistemáticas dependen de los
  estudios incluidos
• Estudios incorrectos revisiones con resultados
  engañosos
• Nos podemos creer los resultados?
• Evaluar el riesgo de sesgo de cada estudio
• No podemos medir la presencia de sesgo
• Los sesgos pueden sobreestimar o subestimar el
  efecto
• Debemos buscar métodos que minimizan el riesgo de
  sesgo

5
Sesgo no es lo mismo que
6
Escalas de calidad y listas de verificación
(checklists)

• Hay muchas escalas disponibles
• No hay evidencia empírica que avale su uso
• Diferentes escalas llegan a diferentes
  conclusiones
• Pueden incluir criterios no relacionados con el
  sesgo
• La ponderación numérica no está justificada
• Puntuaciones difíciles de interpretar por los
  lectores

Las revisiones Cochrane no deben utilizar escalas
de calidad
7
Herramienta de la Colaboración Cochrane para
evaluar el riesgo de sesgo

• Valora 7 dominios apoyados por evidencia
  científica
• Valoración de los revisores
• ? Bajo riesgo de sesgo
• ? Alto riesgo de sesgo
• ? Riesgo de sesgo poco claro
• Apoyo para la valoración
• Pruebas/citas del artículo o de otras fuentes
• Explicación del autor de la revisión

8
Dominios a evaluar

• Generación de la secuencia aleatoria
• Ocultamiento de la asignación
• Cegamiento de los participantes y del personal
• Cegamiento de los evaluadores del resultado
• Datos de resultado incompletos
• Notificación selectiva de los resultados
• Otras fuentes de sesgo

Es IMPRESCINDIBLE consultar el Manual Cochrane
antes de realizar la evaluación del riesgo de
sesgo
9
Qué ocurre con los estudios no-aleatorizados?

• El riesgo de sesgo también debe evaluarse
  cuidadosamente
• El revisor puede querer añadir dominios a evaluar
• El revisor puede utilizar otro instrumento que
  sea apropiado
• El Grupo de Revisión puede tener una opción
  recomendada

10
Índice

• Riesgo de sesgo en las revisiones sistemáticas
• Evaluación de las fuentes de sesgo
• Llevándolo a la práctica tablas de riesgo de
  sesgo
• Incorporación de los hallazgos en la revisión

11
Fuentes de sesgo
Generación aleatoria de la secuencia
Población diana
Selección
Asignación
Ocultación de la secuencia
e
Realización
Grupo Intervención
Grupo Control
Detección
Desgaste
Evaluación del resultado
Evaluación del resultado
Notificación
Publicación de los resultados
12
Generación de la secuencia aleatoria

• Se realiza al inicio del estudio, antes de la
  asignación de los participantes a los grupos de
  estudio
• Evita el sesgo de selección
• Determina un orden de asignación aleatorio de los
  participantes al grupo intervención y control
• Evita diferencias sistemáticas entre los grupos
• Tiene en cuenta los factores de confusión
  conocidos y desconocidos

13
Generación de la secuencia aleatoria

• Bajo riesgo no predecible
• Tabla de números aleatorios
• Generación de números aleatorios por ordenador
• Aleatorización estratificada o en bloque
• Minimización
• Recursos más rudimentarios - lanzamiento de una
  moneda, barajar cartas o sobres, lanzar dados,
  sorteo de tarjetas
• Alto riesgo predecible
• Método cuasi-aleatorio fecha de nacimiento, día
  de visita, identificador o número de registro,
  alternancia
• Método no-aleatorio elección por parte del
  clínico o del paciente, resultados de pruebas,
  disponibilidad

14
Ocultamiento de la secuencia

• Ocurre al inicio del estudio, durante la
  asignación de los participantes
• Evita el sesgo de selección
• Cuando una persona es reclutada para el estudio
  nadie puede predecir a qué grupo será asignada
• Asegura una implementación estricta de la
  secuencia de aleatorización
• Previene cambios de orden
• Previene seleccionar los participantes a los que
  reclutar

15
Ocultamiento de la secuencia

• Bajo riesgo no predecible
• Asignación centralizada (teléfono, página web,
  servicio de farmacia )
• Sobres opacos, sellados y numerados de manera
  secuencial
• Envases de fármaco idénticos y numerados de
  manera secuencial
• Alto riesgo- predecible
• Secuencia conocida previamente por parte del
  personal
• Sobres o envases sin una protección apropiada
• Secuencia no aleatoria, predecible

16
Fuentes de sesgo
Cegamiento de participantes, personal
17
Cegamiento de los participantes y del personal

• Evita el sesgo de realización
• Trato diferente a los grupos del estudio
• Diferentes expectativas de los participantes
• Puede conducir a cambios en los propios
  resultados
• Evaluar de forma cuidadosa
• Evitar términos como simple ciego y doble
  ciego
• Es probable que el cegamiento se rompiera?
• Considerar el impacto, incluso aunque el
  cegamiento no sea factible para una determinada
  intervención

18
Cegamiento de los participantes y del personal

• Bajo riesgo
• El cegamiento es correcto y es poco probable que
  se haya roto
• Falta de cegamiento o cegamiento incompleto, pero
  no es probable que influya en los resultados
• Alto riesgo
• Falta de cegamiento, cegamiento incompleto o
  roto, y es probable que influya en los resultados

19
Fuentes de sesgo
Cegamiento de los evaluadores de los resultados
20
Cegamiento de los evaluadores de los resultados

• Evita el sesgo de detección
• Conocer la intervención recibida puede afectar la
  medición de los resultados
• Evaluar de forma cuidadosa
• Evitar términos como simple ciego y doble
  ciego
• Es probable que el cegamiento se rompiera?
• Puede ser factible incluso cuando no es posible
  cegar a los participantes y al personal
• Recordar que tanto los participantes como el
  personal pueden ser evaluadores del resultado

21
Cegamiento de los evaluadores de los resultados

• Bajo riesgo
• El cegamiento es correcto y es poco probable que
  se haya roto
• Falta de cegamiento, pero no es probable que
  influya en la evaluación de los resultados
• Alto riesgo
• Falta de cegamiento o cegamiento roto, y es
  probable que influya en la evaluación de los
  resultados

22
Evaluación del cegamiento en cada variable
resultado

• Se puede alcanzar conclusiones distintas según la
  variable resultado
• Puede que sólo sea ciega la medida de algunos
  resultados
• Los desenlaces subjetivos pueden ser más
  vulnerables a este tipo de sesgo. Ej. muerte vs
  calidad de vida
• Puede aplicarse tanto al sesgo de realización
  como al sesgo de detección
• Una opción es recoger en la tabla la evaluación
  de dos o más variables de resultado para estas
  categorías

23
Fuentes de sesgo
Datos de resultado incompletos
24
Datos de resultado incompletos

• Cuando no se dispone de datos completos de los
  resultados para todos los participantes
• Desgaste (attrition) pérdidas durante el
  seguimiento (loss to follow up), abandono
  (withdrawals), otros datos faltantes
• Exclusiones (exclusions) algunos datos
  disponibles no están descritos en el informe
• Puede dar lugar a un sesgo de desgaste (attrition
  bias)
• Consideraciones
• Cuántos datos de resultado incompletos por cada
  grupo? (incluir números en la descripción)
• Motivos de los datos de resultado incompletos?
• Cómo se analizaron los datos?

25
Cuándo son demasiados los datos faltantes?

• No existe una regla simple
• Si son suficientes para afectar de forma
  relevante los resultados
• Proporción total de datos faltantes
• Riesgo de evento (resultados dicotómicos)
• Posible tamaño del efecto (resultados continuos)
• Cuando las razones pueden estar relacionadas con
  los resultados del estudio
• Ej. recuperación, eventos adversos, rechazos
• Las razones pueden tener significados diferentes
  en cada grupo
• Existe un desequilibrio entre los grupos en
  cuanto a los datos faltantes o sus razones

26
Análisis por intención de tratar

• Todos los participantes se analizan en el grupo
  al que fueron aleatorizados
• A pesar de lo que haya ocurrido durante el
  estudio
• Temas que pueden surgir
• Análisis por protocolo
• Los participantes no cumplidores se excluyen del
  análisis
• Análisis como se trató
• Los participantes no cumplidores cambian de grupo
• Imputación de valores faltantes
• Las asunciones pueden ser inapropiadas- consultar
  con un estadístico
• Es posible re-incluir algunos datos excluidos

27
Evaluación de los datos incompletos para cada
resultado

• Se puede llegar a conclusiones diferentes para
  cada resultado
• Puede haber más datos faltantes en distintos
  puntos temporales
• Algunos resultados pueden tener más datos
  faltantes que otros . Ej. preguntas sensibles,
  pruebas invasivas
• Una opción es recoger en la tabla la evaluación
  de dos o más variables de resultado para datos
  incompletos

28
Datos de resultado incompletos

• Bajo riesgo
• Se dispone de los datos completos para todos los
  resultados
• Las razones que han motivado la falta de datos no
  se relacionan con el resultado
• Cantidad de datos de resultado faltantes
  equilibrados entre los grupos de intervención, y
  con motivos similares
• La proporción de datos faltantes o su posible
  efecto no es suficiente para tener un impacto
  clínicamente relevante
• Alto riesgo
• Razones relacionadas con los desenlaces, y
  desequilibrio en el número de datos faltantes o
  en las razones que han provocado los datos
  faltantes
• La proporción de datos faltantes es suficiente
  para tener un efecto clínicamente relevante
• Análisis como se trató con diferencias
  importantes respecto a la aleatorización
• Uso inapropiado de los métodos de imputación

29
Fuentes de sesgo
Notificación selectiva de los resultados
30
Notificación selectiva de los resultados

• Puede dar lugar a un sesgo de notificación
• Es más probable que se describan los resultados
  estadísticamente significativos
• Tal como estaba planificado en el protocolo del
  estudio
• Con mayor detalle
• Sesgo difícil de determinar
• Comparar los métodos con los resultados y buscar
  
• Resultados medidos (o probablemente medidos) pero
  no notificados
• Resultados añadidos, cambios estadísticos, sólo
  subgrupos
• Descripciones que no pueden utilizarse en una
  revisión (Ej. decir que no hay diferencias
  estadísticamente significativas sin aportar
  resultados numéricos)
• Referencia al protocolo de estudio o al registro
  del ensayo
• Centrarse en los resultados de interés para la
  revisión

31
Notificación selectiva de los resultados

• Bajo riesgo
• Se dispone del protocolo de estudio y todos los
  resultados de interés de la revisión están
  descritos de la forma prevista en el protocolo
• No disponemos del protocolo, pero está claro que
  se notifican todos los resultados esperables y
  especificados previamente
• Riesgo poco claro
• La mayor parte de los estudios entrarán en está
  categoría
• Alto riesgo
• Resultados no descritos como estaba
  pre-especificado o era esperable
• Ej. perdidos, añadidos, subconjuntos, medidas o
  métodos no esperados
• Resultados descritos de forma incompleta por lo
  que no pueden utilizarse en un metanálisis

32
Otras fuentes de sesgo

• Se requiere una justificación clara de por qué un
  factor puede ser causa de sesgo
• No incluir
• Imprecisión (Ej. tamaño de la muestra pequeño)
• Heterogeneidad (Ej. dosis inadecuada, población
  inusual)
• Otras medidas de calidad (Ej. aprobación por el
  comité de ética, financiación)
• Siempre que sea posible, identificar factores
  importantes en el protocolo
• Se pueden añadir filas en la tabla para evaluar
  factores importantes para todos los estudios

33
Otras fuentes de sesgo

• Bajo riesgo
• El estudio parece no estar afectado por otras
  fuentes de sesgo
• Alto riesgo
• Factores ligados a diseño de estudio específicos
• Efecto de arrastre (carry-over) en los ensayos
  cruzados
• Sesgo de reclutamiento en los ensayos
  aleatorizados por conglomerados
  (cluster-randomised trials)
• Estudios no aleatorios
• Desequilibrio inicial entre los grupos
• Asignación en bloques en ensayos no cegados
• Actividad diagnóstica diferencial
• Otros sesgos

34
Índice

• Riesgo de sesgo en las revisiones sistemáticas
• Evaluación de las fuentes de sesgo
• Llevándolo a la práctica tablas de riesgo de
  sesgo
• Incorporación de los hallazgos en la revisión

35
Cómo hacer la evaluación del riesgo de sesgo

• Como mínimo dos evaluadores
• Asegurar que los evaluadores conocen los métodos
  
• Incluir expertos en contenido y metodólogos
• Pilotar en 3-6 estudios para comprobar la
  consistencia de la evaluación
• Definir de antemano cómo resolver los desacuerdos
  
• Buscar la información faltante en la publicación
• Protocolo de estudio
• Contactar con los autores

36
Tablas de Riesgo de sesgo

• Una tabla para cada estudio incluido
• Decisión para cada dominio
• ? Bajo riesgo
• Alto riesgo - considerar el sesgo material, en
  lugar de cualquier sesgo
• ? Riesgo poco claro no se dispone de
  suficiente información para emitir un juicio
  claro
• Apoyo a la decisión
• Se pueden utilizar citas directas del artículo
• Comentarios adicionales
• Justificar cualquier asunción (ej.,
  probablemente se realizó correctamente)
• Si no se dispone de información, notificarlo de
  forma explícita

37
(No Transcript)
38
Índice

• Riesgo de sesgo en las revisiones sistemáticas
• Evaluación de las fuentes de sesgo
• Llevándolo a la práctica tablas de riesgo de
  sesgo
• Incorporación de los hallazgos en la revisión

39
Priorizar los dominios para la revisión

• Todas las revisiones evalúan todos los dominios,
  pero puede seleccionar uno o varios como
  prioritarios para la revisión
• Especificarlo en el protocolo
• Justificarlo, considerando
• Evidencia empírica del impacto del sesgo
• Dirección probable del impacto del sesgo
• Los sesgos probablemente exageran el efecto
• En caso que el sesgo subestime el efecto y
  observemos un efecto relevante, tiene menos
  importancia
• Magnitud probable del impacto del sesgo en
  relación al efecto observado

40
Realizar una interpretación global

• No intentar resumir todos los resultado y todos
  los estudios a la vez
• Resumir por desenlace
• Cada desenlace puede tener su evaluación propia
  del riesgo de sesgo (ej. cegamiento, datos de
  resultado incompleto)
• No todos los estudios aportan información a cada
  desenlace
• Empezar resumiendo el riesgo de sesgo dentro de
  cada estudio y luego entre los estudios
• No agrupar los estudios de riesgo poco claro
  con los estudios de bajo riesgo sin una
  justificación

41
Incorporar los hallazgos a la revisión

• Hacer siempre una descripción narrativa
• Puede que los lectores no la lean
• No evalúa el impacto en los resultados
• Se puede restringir el análisis principal a los
  estudios con bajo riesgo de sesgo
• Basado en dominios clave elegidos de forma
  razonada (aunque arbitraria)
• Hacer siempre un análisis de sensibilidad
• Se puede presentar un análisis estratificado
• También podemos explorar el impacto mediante
• Análisis de subgrupos
• Meta-regresión obtener asesoría estadística

42
Resumen del riesgo de sesgo
43
Gráfico del riesgo de sesgo
44
Qué se debe incluir en el protocolo?

• Consultar las normas del Grupo Cochrane de
  Revisión
• Breve descripción de la herramienta Cochrane que
  se utilizará para evaluar el riesgo de sesgo
• Listar los dominios
• Referenciar el capítulo 8 del Cochrane Handbook
• Más de un autor evaluará el riesgo de sesgo
• Como se resolverán las discrepancias?
• Hay dominios específicos importantes para la
  revisión?
• Cómo se incorporarán los hallazgos al análisis?

45
(No Transcript)
46
Mensaje final

• Estudios sesgados pueden conducir a unas
  conclusiones de la revisión engañosas
• Se evaluarán siete dominios de sesgo
• Describir detalladamente lo que ocurrió en los
  estudios y hacer un juicio sobre el riesgo de
  sesgo
• Considerar los posibles efectos de los sesgos y
  ser cautos a la hora de interpretar los resultados

47
Referencias

• Higgins JPT, Altman DG, Sterne JAC (editors).
  Chapter 8 Assessing risk of bias in included
  studies. In Higgins JPT, Green S (editors).
  Cochrane Handbook for Systematic Reviews of
  Interventions Version 5.1.0 updated March 2011.
  The Cochrane Collaboration, 2011. Disponible en
  www.cochrane-handbook.org.

Agradecimientos

• Compilado por Miranda Cumpston. Basado en los
  materiales de Cochrane Bias Methods Group and the
  Australasian Cochrane Centre. Aprobado por the
  Cochrane Methods Board
• Traducido por Anna Selva, Ivan Solà y Jesús
  López-Alcalde