Section 1.5 Du problème au modèle

Construire une expérience qui peut échouer

Une expérience utile peut conclure qu’un modèle ne résout pas la tâche. Dans le service d’orientation, retenir une référence simple, par exemple la dernière catégorie choisie par l’usager suivie d’une revue manuelle, puis fixer une période d’évaluation. Comparer les solutions sur le même ensemble de demandes et publier les conditions de test.

Ce qui doit rester comparable

Une référence désigne une procédure entièrement spécifiée. Pour une prévision hebdomadaire, « même valeur que la semaine précédente » est une référence calculable. Pour l’orientation, « utiliser le champ de menu s’il existe, sinon envoyer en revue » est également testable. Compter la proportion de demandes revues et les erreurs parmi celles que le système traite. Une amélioration apparente peut provenir d’une sélection plus prudente des cas faciles.

Les mêmes demandes alimentent la procédure de référence et le modèle, puis les deux sorties sont jugées selon le même barème.
Figure 1.5. Une comparaison appariée rend visibles les cas où la référence et le modèle se contredisent.

Ce que l’on consigne

La fiche d’expérience indique la période, l’unité d’observation, les exclusions, la version des données, le code ou les réglages, le barème et les désaccords les plus coûteux. Une petite taille d’échantillon appelle une interprétation prudente. Si un score s’améliore après avoir servi à choisir un réglage, il s’agit d’un résultat de développement. Le jeu final joue un autre rôle, développé au chapitre suivant.

Exercice de synthèse. Reformuler la tâche pour une bibliothèque numérique qui veut extraire des titres de documents scannés. Proposer une référence, une observation par document et un critère qui distingue l’orthographe exacte de la conservation de la structure. Un plan solide précise à quel moment l’image est disponible, quelles pages comportent plusieurs titres et ce que le lecteur peut corriger.