Section 3.4 Architecture des modèles génératifs

Décodage, contexte et coût d’inférence

À chaque pas, le modèle transforme la représentation de la dernière position en scores, appelés logits, pour les tokens du vocabulaire. Un décodage glouton choisit le plus grand score. Un décodage par échantillonnage tire un token selon une distribution. Le token sélectionné est ajouté à l’entrée avant le pas suivant.

Température et échantillonnage par masse

Pour une température T strictement positive, on applique le softmax aux logits divisés par T. Une petite valeur concentre la masse sur les scores élevés. L’échantillonnage top-p trie les tokens par probabilité et conserve le plus petit préfixe qui atteint une masse donnée, puis renormalise. Avec 0,60, 0,25, 0,10 et 0,05, un seuil de 0,80 conserve deux options. Leurs probabilités deviennent environ 0,706 et 0,294. Cette opération change la diversité des sorties. Les probabilités décrivent des continuations textuelles, avec toutes les limites de l’apprentissage sous-jacent.

Quatre probabilités totalisent un. La masse cumulée dépasse 0,80 après les deux premières.
Figure 3.4. Calcul avant renormalisation. Les deux premières options cumulent 0,85 et restent candidates.

Entrer dans la fenêtre de contexte

Instructions, historique, passages de référence et réponse partagent une capacité finie. Même lorsque les données tiennent dans la fenêtre, un élément important peut être négligé. Le temps du premier token inclut le traitement du texte d’entrée. La génération successive ajoute un délai à chaque token. Le cache clés-valeurs mémorise des calculs des positions précédentes afin d’éviter de les refaire à chaque pas, au prix de mémoire. Pour une tâche documentaire, raccourcir le contexte en retirant des documents peu pertinents peut améliorer à la fois le coût et la lisibilité de la preuve.