Glossaire
Les termes sont reliés aux sections où ils sont expliqués et mis en pratique.
- Inférence
- Calcul d’une sortie à partir des données disponibles et des paramètres du modèle. Section 1.1
- Étiquette
- Valeur de référence utilisée pour entraîner ou évaluer un modèle supervisé. Section 1.3
- Gradient
- Vecteur des dérivées de la perte par rapport aux paramètres. Section 1.4
- Référence
- Procédure simple et spécifiée servant de point de comparaison. Section 1.5
- Auto-supervision
- Apprentissage avec des cibles dérivées des données elles-mêmes. Section 2.1
- Fuite de données
- Introduction d’informations qui devraient rester indisponibles au moment concerné. Section 2.2
- Calibration
- Correspondance entre probabilités annoncées et fréquences observées. Section 2.3
- Précision
- Part des cas signalés qui appartiennent effectivement à la classe positive. Section 2.3
- Rappel
- Part des cas positifs de référence qui sont signalés. Section 2.3
- Surapprentissage
- Ajustement aux particularités du jeu d’entraînement qui nuit à la généralisation. Section 2.4
- Plongement
- Vecteur numérique associé à un objet comme un token ou un document. Section 3.1
- Token
- Unité créée par un tokenizer et représentée par un identifiant. Section 3.1
- Attention causale
- Attention limitée à la position courante et aux précédentes. Section 3.2
- Perplexité
- Exponentielle de la perte logarithmique moyenne par token, avec le logarithme naturel. Section 3.3
- Logit
- Score avant conversion en probabilité. Section 3.4
- Fenêtre de contexte
- Quantité maximale de tokens utilisables ensemble pour une requête. Section 3.4
- Diffusion
- Famille de méthodes génératives qui apprennent à inverser un bruitage progressif. Section 3.5
- Transfert
- Capacité à appliquer un principe à un problème qui diffère de l’exercice initial. Section 4.1
- RAG
- Génération qui reçoit des passages récupérés dans un corpus au moment de la requête. Section 4.4
- Provenance
- Informations permettant de retrouver la source, la version et le cheminement d’une donnée. Section 5.2
- Couverture
- Part des demandes auxquelles le système décide de répondre. Section 5.4