Section 1.3 Du problème au modèle

Mesurer et étiqueter les données

Une colonne peut être facile à exporter et difficile à interpréter. Si l’on retient comme cible le dernier service ayant touché une demande, le modèle peut reproduire des circuits administratifs plutôt que le besoin de l’usager. Si l’on cible le premier service compétent, une annotation humaine devient nécessaire. Dans les deux cas, documenter la définition de la cible est plus informatif que le nom de la colonne.

L’étiquette comme mesure

Rédiger un court guide d’annotation avec des exemples limites et une catégorie de désaccord. Faire annoter un même lot par deux personnes indépendamment avant de trancher. Le taux d’accord brut est une première observation, à lire avec la distribution des classes. Si neuf demandes sur dix relèvent de la même catégorie, un fort accord global peut laisser entière l’ambiguïté des autres catégories. Conserver les raisons de désaccord permet d’améliorer le guide ou de modifier la tâche.

Le rôle de la provenance

Pour chaque exemple, un registre minimal associe un identifiant de groupe, un horodatage, le canal de collecte et la version du guide. Le texte d’un formulaire n’a pas la même structure qu’un courriel transféré plusieurs fois. Une requête en français et en darija peut contenir deux formes pour le même motif. Comparer les résultats par canal et par forme de texte distingue certains problèmes de collecte des limites du modèle. Le chapitre 5 revient sur les précautions de collecte et les intervalles d’incertitude.

Quatre champs de provenance, période, canal, groupe et version du guide, accompagnent une même ligne d’exemple.
Figure 1.3. Les métadonnées de provenance servent aux contrôles de qualité et à la séparation des jeux. Leur disponibilité à l’inférence se vérifie séparément.

Question d’analyse. Une nouvelle version du formulaire propose des catégories explicites. Un modèle entraîné auparavant voit brusquement des messages plus courts. La distribution des entrées a changé. La mesure utile porte alors sur des données du nouveau formulaire, avec une cible qui conserve le même sens ou dont la redéfinition est documentée.