Section 4.5 Étudier et travailler avec les LLM

Comparer deux pratiques d’étude

Pour évaluer un assistant tutoriel, une note de satisfaction et un test de maîtrise répondent à des questions différentes. Préparer des exercices appariés par notion et difficulté. Répartir l’ordre des conditions si plusieurs étudiants se prêtent à l’expérience. Chaque condition reçoit un temps comparable et les mêmes ressources de cours.

Deux mesures à garder distinctes

La première grille note la réponse du modèle selon la validité, l’adaptation de l’indice et le respect de la consigne. La seconde mesure ce que la personne peut produire seule sur une question nouvelle. Un assistant peut livrer des réponses très bien notées qui rendent l’activité moins exigeante. À l’inverse, une question de diagnostic brève peut aider à trouver une erreur et rendre l’apprenant plus autonome.

Deux branches d’étude rejoignent le même type d’évaluation sans aide. Une mesure de qualité du dialogue reste dans chaque branche.
Figure 4.5. Les conditions se comparent sur un test commun. Les réponses du modèle font l’objet d’une évaluation séparée.

Interpréter une petite expérience

Conserver les essais initiaux et les erreurs, puis examiner les concepts sur lesquels les résultats divergent. Un étudiant travaillant seul peut alterner deux séries appariées et refaire un test après un délai. L’ordre des séances, l’entraînement antérieur et la difficulté réelle restent des facteurs possibles. Les résultats décrivent cette expérience. Pour conclure sur une population, il faut un protocole et un échantillon adaptés.

Livrable conseillé. Un compte rendu d’une page indique la question, les deux conditions, les exercices, les critères et un exemple d’erreur. Il résume en une phrase ce qui a changé dans le travail de l’étudiant.