Section 4.5 Étudier et travailler avec les LLM
Comparer deux pratiques d’étude
Pour évaluer un assistant tutoriel, une note de satisfaction et un test de maîtrise répondent à des questions différentes. Préparer des exercices appariés par notion et difficulté. Répartir l’ordre des conditions si plusieurs étudiants se prêtent à l’expérience. Chaque condition reçoit un temps comparable et les mêmes ressources de cours.
Deux mesures à garder distinctes
La première grille note la réponse du modèle selon la validité, l’adaptation de l’indice et le respect de la consigne. La seconde mesure ce que la personne peut produire seule sur une question nouvelle. Un assistant peut livrer des réponses très bien notées qui rendent l’activité moins exigeante. À l’inverse, une question de diagnostic brève peut aider à trouver une erreur et rendre l’apprenant plus autonome.
Interpréter une petite expérience
Conserver les essais initiaux et les erreurs, puis examiner les concepts sur lesquels les résultats divergent. Un étudiant travaillant seul peut alterner deux séries appariées et refaire un test après un délai. L’ordre des séances, l’entraînement antérieur et la difficulté réelle restent des facteurs possibles. Les résultats décrivent cette expérience. Pour conclure sur une population, il faut un protocole et un échantillon adaptés.
Livrable conseillé. Un compte rendu d’une page indique la question, les deux conditions, les exercices, les critères et un exemple d’erreur. Il résume en une phrase ce qui a changé dans le travail de l’étudiant.