Discrimination

1
Discrimination
Validation

• Système de classification affecte un sujet à la
  classe 0 ou à la classe 1
• Diagnostic 0 non malade 1 malade
• Pronostic 0 non événement (good outcome) 1
  événement (poor outcome)
• Problème
• Résultat observé binaire
• Risque prédit probabilité p entre 0 et 1 à
  laquelle on applique un seuil pour prendre la
  décision de classification (ex Dg positif si p gt
  0.5)
• Indicateurs Sensibilité, Spécificité, Valeurs
  prédictives, aire sous la courbe ROC

2
Discrimination
Validation
Sensibilité VP/ M Spécificité VN / M- VPP
VP /P
3
Discrimination
Validation

• Risque probabilité p1 estimée, évaluée par
  rapport à un résultat observé (0 ou 1)

Seuil 0.2
1
0.8
0.6
0.4
Sensibilité
0.2
0
0
0.2
0.4
0.6
0.8
1
1- Spécificité (taux de faux positifs)
4
Discrimination
Validation

• Signification de laire sous la courbe ROC

1
Discrimination parfaite C index 1
Exemple C index 0.8 Pas de discrimination
C index 0.5
0.8
0.6
0.4
Sensibilité
0.2
0
0
0.2
0.4
0.6
0.8
1
1- Spécificité (taux de faux positifs)
5
Discrimination
Validation
Interprétation du C index

• Estimations p du modèle de prédiction
• Pour les Malades Pour les non malades
• 0.7 . 0.1
• 0.6 . 0.3
• 0.2 . 0.7
• 0.5 . 0.4
• 0.2
• 0.8

Concordantes ½ ex-aequo C index
----------------------------------------
Toutes les paires
6
Calibration
Validation

• Dans quelle mesure le risque prédit est-il proche
  du risque réel (virtuel) ?
• Test de Hosmer et Lemeshow
• Test de qualité de lajustement ( Goodness of
  fit  )
• Décomposition de la covariance
• Histogramme des taux dévénements observés par
  décile de risque prédit (représentation graphique
  du test de qualité de lajustement)

7
Calibration/Discrimination
Validation
Bien calibré
Risque  réel 
0
1
Seuil théorique 0.5
8
Calibration/Discrimination
Validation
Mal calibré
Risque  réel 
0
1
Seuil théorique 0.5
9
Calibration
Validation

• Dans quelle mesure le risque prédit est-il proche
  du risque réel (virtuel) ?
• (nombre dévénements observés par décile de
  risque prédit)

10
Predictive performance
Results