Section 2.2 Apprendre et évaluer

Séparer les données selon le futur usage

Diviser les lignes au hasard est raisonnable lorsque celles-ci sont suffisamment indépendantes et que l’usage futur suit le même processus de collecte. Dans un historique de tickets, plusieurs messages proviennent souvent d’un même dossier. Si des messages du dossier apparaissent dans l’entraînement et le test, le modèle peut reconnaître un fil connu. Pour prédire les demandes du mois suivant, une séparation par date est souvent plus fidèle, avec des groupes qui ne traversent pas les frontières choisies.

Trois responsabilités

L’entraînement ajuste les paramètres et les transformations qui en dépendent, par exemple le vocabulaire ou la moyenne utilisée pour normaliser une variable. La validation aide à choisir la représentation, les hyperparamètres et le seuil d’action. Le test mesure la solution déjà fixée. Avec peu de données, une validation croisée groupée peut stabiliser les choix sur le développement. Elle ne dispense pas de préserver un test indépendant si l’on veut une estimation finale.

Une frise place l’entraînement avant la validation, puis le test. Trois messages d’un même fil restent dans un seul bloc.
Figure 2.2. Lorsque l’usage est prospectif, la coupure temporelle reproduit les conditions connues au moment de décider.

Deux formes de fuite

Une fuite de cible introduit un champ dérivé du futur, comme le service qui clôture la demande. Une fuite de protocole fait entrer une information du test dans le choix de méthode, par exemple en ajustant TF-IDF sur le corpus complet avant la séparation. Même si le vocabulaire ne contient aucune étiquette, les statistiques de fréquence intègrent alors des documents censés être inédits. Dans un pipeline, la transformation apprise et le classificateur sont ajustés ensemble à l’intérieur de chaque séparation.

Étude documentée. La documentation de scikit-learn montre que les en-têtes, signatures et citations du corpus 20 Newsgroups peuvent révéler indirectement le sujet. L’intérêt de l’expérience tient à ce raccourci vérifiable, fréquent aussi dans les archives de service.