Section 2.3 Apprendre et évaluer

Seuils, erreurs et calibration

Sur un lot construit de 1 000 dossiers, 50 sont urgents. Un système qui considère chaque dossier comme ordinaire obtient 95 % d’exactitude et ne détecte aucune urgence. Le choix d’un seuil exige de lire les quatre cases de la matrice plutôt qu’un score global.

PolitiqueVrais positifsFaux positifsFaux négatifsVrais négatifs
A, seuil plus bas406410886
B, seuil plus haut302020930

Lire ce que chaque dénominateur signifie

Pour A, le rappel est 40/50 = 80 %. La précision est 40/104 ≈ 38,5 %. Pour B, les deux valent 60 %. Le rappel regarde les urgences de référence. La précision regarde les dossiers signalés. Si une urgence manquée coûte huit unités et une revue inutile une unité, A coûte 144 unités et B en coûte 180 sur ce lot. Une limite de capacité à 60 revues changerait le choix. Les chiffres et les coûts sont construits pour exposer le raisonnement.

Matrice de confusion de la politique A. La ligne urgent contient 40 et 10. La ligne ordinaire contient 64 et 886.
Figure 2.3. La politique A signale 104 dossiers. Le rappel et la précision divisent le même numérateur par deux populations différentes.

Un score de 0,8 signifie-t-il 80 % ?

Un score peut ordonner les demandes sans être une probabilité fiable. La calibration compare, par groupes de scores, la fréquence d’événements observée à la probabilité annoncée. Si les exemples prédits autour de 0,8 sont urgents dans environ huit cas sur dix, ce groupe est compatible avec une bonne calibration. Un groupe rare donne une mesure incertaine. Calibrer sur de nouveaux exemples de validation et conserver le test séparé, puis contrôler l’effet d’un changement de fréquence de base.