Section 5.3 Fiabilité et projet de synthèse
Outils, agents et limites d’autorité
Un assistant qui propose un texte et un assistant qui peut écrire dans une base ont des conséquences différentes. Un appel d’outil est une requête structurée émise vers une opération, par exemple lire un document ou créer un brouillon. Un agent peut enchaîner plusieurs décisions et opérations pour atteindre un objectif. Le composant qui autorise une opération doit connaître l’utilisateur, la ressource et les permissions valides au moment de la requête.
Traiter les documents récupérés comme des données
Le corpus peut contenir des phrases qui ressemblent à des directives. Un passage ne peut ni modifier les règles de l’application ni conférer une permission. Un système de lecture gagne à avoir un outil de recherche en lecture seule et une séparation claire entre données et demandes. Un modèle peut malgré tout se tromper sur la portée d’un extrait. Le programme valide le type de requête et décide si elle correspond aux actions permises. Une action ayant des conséquences peut être présentée à une personne avant exécution.
Fixer des conditions d’arrêt
Pour une suite de recherches, définir un nombre maximal d’itérations, ignorer les répétitions et conserver les identifiants des passages examinés. Lorsque les preuves restent insuffisantes, rendre la main avec une question ou une abstention. Tester des cas d’erreur contrôlés tels qu’un document absent, une source périmée ou une action hors périmètre. Le profil IA générative du NIST propose un cadre pour décrire ces risques et les contrôles associés.