Section 1.1 Du problème au modèle

Spécifier une tâche avant de choisir un modèle

Une université souhaite orienter vers le bon service les demandes qu’elle reçoit par formulaire. L’entrée disponible est l’objet et le corps du message au moment de son dépôt. La sortie attendue est une proposition de catégorie accompagnée, si nécessaire, d’un renvoi à l’accueil humain. Le service qui clôture effectivement la demande peut être connu plusieurs jours plus tard. Ces deux instants bornent le problème technique.

Le contrat de prédiction

On note x les informations disponibles à la décision, y la catégorie de référence et f(x) la sortie du modèle. L’unité d’observation peut être une demande entière ou le premier message d’un fil. Choisir entre les deux change ce qui constitue un doublon et ce que signifie une erreur. Si un message combine un problème de compte et une demande d’inscription, une classification à étiquette unique exige une règle de priorité. Un système à étiquettes multiples change à la fois l’annotation et l’évaluation.

Le formulaire produit une demande à classer. Après proposition du modèle, le traitement humain apporte une étiquette qui servira à l’évaluation ultérieure.
Figure 1.1. Le contrat sépare les informations disponibles à la prédiction de la référence obtenue après traitement.

Une erreur a un destinataire

Le score du classificateur peut servir à rédiger une suggestion, à préparer une file ou à transférer directement une demande. Le même modèle présente des enjeux différents dans ces trois usages. Dans une file de vérification, une catégorie erronée coûte surtout du temps de relecture. Avec un transfert automatique, la personne concernée peut attendre une réponse qui n’arrive pas. Le cahier des charges doit donc fixer les actions permises, le traitement des cas ambigus et la durée au-delà de laquelle une demande est réexaminée.

Point de méthode. Décrire la tâche en une phrase testable avant de collecter des données. Pour cet exemple, « sur de nouveaux premiers messages, estimer le service nécessaire et mesurer les transferts corrigés par le personnel ». La mention des premiers messages, des nouveaux cas et de l’observation humaine permet de définir une évaluation qui existe en dehors du modèle.