Section 5.3 Fiabilité et projet de synthèse

Outils, agents et limites d’autorité

Un assistant qui propose un texte et un assistant qui peut écrire dans une base ont des conséquences différentes. Un appel d’outil est une requête structurée émise vers une opération, par exemple lire un document ou créer un brouillon. Un agent peut enchaîner plusieurs décisions et opérations pour atteindre un objectif. Le composant qui autorise une opération doit connaître l’utilisateur, la ressource et les permissions valides au moment de la requête.

Traiter les documents récupérés comme des données

Le corpus peut contenir des phrases qui ressemblent à des directives. Un passage ne peut ni modifier les règles de l’application ni conférer une permission. Un système de lecture gagne à avoir un outil de recherche en lecture seule et une séparation claire entre données et demandes. Un modèle peut malgré tout se tromper sur la portée d’un extrait. Le programme valide le type de requête et décide si elle correspond aux actions permises. Une action ayant des conséquences peut être présentée à une personne avant exécution.

L’assistant propose une action. Un contrôle vérifie le périmètre et autorise la lecture ou arrête la demande d’écriture. La sortie d’outil retourne comme donnée.
Figure 5.3. L’autorisation est vérifiée au niveau de l’application. Une sortie de modèle est une proposition à évaluer.

Fixer des conditions d’arrêt

Pour une suite de recherches, définir un nombre maximal d’itérations, ignorer les répétitions et conserver les identifiants des passages examinés. Lorsque les preuves restent insuffisantes, rendre la main avec une question ou une abstention. Tester des cas d’erreur contrôlés tels qu’un document absent, une source périmée ou une action hors périmètre. Le profil IA générative du NIST propose un cadre pour décrire ces risques et les contrôles associés.