Section 5.5 Fiabilité et projet de synthèse

Projet de synthèse · Un assistant documentaire vérifiable

Réaliser un prototype qui recherche des explications dans un corpus borné de documents techniques. Un sujet possible est la sémantique des listes et des fonctions en Python. Le but est de montrer sur quels cas un assistant apporte une aide justifiée et dans quelles conditions il doit demander un passage supplémentaire ou s’abstenir.

Construire une référence reproductible

  1. Indexer au moins douze passages provenant de documents publics. Consigner leur version, identifiant, titre de section et adresse.
  2. Rédiger au moins quinze questions, dont cinq sans réponse dans le corpus et plusieurs paires de formulations françaises et anglaises. Geler un lot final avant de régler le système.
  3. Implémenter une référence lexicale. Pour chaque réponse possible, conserver le ou les passages attendus et le résultat d’un test local lorsqu’il existe.
  4. Évaluer la recherche par hit@k sur les questions répondables. Mesurer la couverture, le soutien des affirmations et les abstentions correctes, en présentant les dénominateurs.
Quatre livrables se suivent, corpus, questions, référence et rapport d’erreurs.
Figure 5.5. Le prototype est un instrument de comparaison. Le rapport montre quelles parties du système expliquent les erreurs observées.

Présenter les résultats

Comparer la référence à une variante, par exemple un découpage préservant les titres ou un assistant qui transforme les passages récupérés en indice. Geler la variante avant le lot final. Montrer au moins un bon résultat, une preuve absente, une preuve mal utilisée et une abstention correcte. Indiquer un résultat de transfert sans aide. Le rapport comprend les données non personnelles, des exemples reproductibles et une conclusion limitée à l’expérience. Le script d’audit du chapitre 2 fournit une convention de calcul réutilisable.