Glossaire

Les termes sont reliés aux sections où ils sont expliqués et mis en pratique.

Inférence
Calcul d’une sortie à partir des données disponibles et des paramètres du modèle. Section 1.1
Étiquette
Valeur de référence utilisée pour entraîner ou évaluer un modèle supervisé. Section 1.3
Gradient
Vecteur des dérivées de la perte par rapport aux paramètres. Section 1.4
Référence
Procédure simple et spécifiée servant de point de comparaison. Section 1.5
Auto-supervision
Apprentissage avec des cibles dérivées des données elles-mêmes. Section 2.1
Fuite de données
Introduction d’informations qui devraient rester indisponibles au moment concerné. Section 2.2
Calibration
Correspondance entre probabilités annoncées et fréquences observées. Section 2.3
Précision
Part des cas signalés qui appartiennent effectivement à la classe positive. Section 2.3
Rappel
Part des cas positifs de référence qui sont signalés. Section 2.3
Surapprentissage
Ajustement aux particularités du jeu d’entraînement qui nuit à la généralisation. Section 2.4
Plongement
Vecteur numérique associé à un objet comme un token ou un document. Section 3.1
Token
Unité créée par un tokenizer et représentée par un identifiant. Section 3.1
Attention causale
Attention limitée à la position courante et aux précédentes. Section 3.2
Perplexité
Exponentielle de la perte logarithmique moyenne par token, avec le logarithme naturel. Section 3.3
Logit
Score avant conversion en probabilité. Section 3.4
Fenêtre de contexte
Quantité maximale de tokens utilisables ensemble pour une requête. Section 3.4
Diffusion
Famille de méthodes génératives qui apprennent à inverser un bruitage progressif. Section 3.5
Transfert
Capacité à appliquer un principe à un problème qui diffère de l’exercice initial. Section 4.1
RAG
Génération qui reçoit des passages récupérés dans un corpus au moment de la requête. Section 4.4
Provenance
Informations permettant de retrouver la source, la version et le cheminement d’une donnée. Section 5.2
Couverture
Part des demandes auxquelles le système décide de répondre. Section 5.4