Section 2.4 Apprendre et évaluer
Régularisation, surapprentissage et changement
Le modèle qui minimise le mieux la perte d’entraînement peut coder des détails accidentels. Dans des demandes anciennes, une signature standardisée peut permettre d’identifier un service presque parfaitement. Lorsque le format de la signature change, cette stratégie s’effondre. L’ajustement au passé et la généralisation se mesurent séparément.
Diagnostiquer avec des courbes
Une courbe d’apprentissage représente la perte d’entraînement et celle de validation à plusieurs étapes. Si les deux sont élevées, vérifier d’abord les données, la représentation et l’optimisation. Si la première baisse encore tandis que l’autre remonte, arrêter l’entraînement à une étape sélectionnée sur validation est une option. On peut aussi réduire la capacité, pénaliser les grands poids ou améliorer les données. Une réduction de complexité n’efface pas forcément une différence de distribution.
Décomposer une baisse en exploitation
Un changement peut toucher la distribution des entrées, la fréquence des catégories ou la relation entre une entrée et sa cible. Une hausse de demandes en début de semestre peut modifier les fréquences sans modifier la définition de l’urgence. Une nouvelle procédure peut changer la catégorie correcte pour des messages jusque-là identiques. Vérifier les pratiques d’annotation et les données de référence permet de distinguer ces mécanismes.
Diagnostic. Conserver un ensemble gelé pour repérer les régressions et constituer un lot récent pour mesurer le domaine courant. Publier les deux résultats avec leur période. Une moyenne fusionnée peut masquer qu’une solution s’améliore sur l’ancien flux et se dégrade sur le nouveau.