Section 4.4 Étudier et travailler avec les LLM
Recherche documentaire et génération augmentée
Un système de génération augmentée par recherche (RAG) construit d’abord un corpus, le découpe en passages identifiables et les indexe. À chaque question, le moteur récupère des passages. Le générateur traite la question avec ces éléments et propose une réponse. Lewis et al. présentent une formulation influente de cette combinaison.
Séparer recherche et génération
Une recherche par mots favorise les termes partagés avec la question. Un encodeur peut rapprocher des paraphrases par similarité vectorielle. Le premier peut mieux retrouver un identifiant exact, le second rapprocher des formulations différentes. Pour un test de recherche, préparer une liste de passages attendus. Si le passage est absent des k premiers résultats, examiner l’index ou la recherche. S’il est présent et correctement identifié mais mal utilisé, examiner le contexte fourni et la génération. Le hit@k compte la fraction des questions pour lesquelles au moins une preuve attendue apparaît dans les k premiers résultats.
Choisir le bon niveau de découpage
Un passage trop court perd les en-têtes et exceptions. Un passage trop long ajoute des mentions concurrentes. Conserver un identifiant stable, un titre de section, la version et le lien. Dans un petit corpus, comparer une recherche lexicale simple à toute amélioration. Évaluer aussi les questions qui n’ont pas de réponse dans le corpus. Leur bonne sortie est une abstention motivée et une indication de la source manquante.