J’ai lancé il y a quelque temps un appel à tous pour vous entendre sur l’intelligence artificielle (IA) et ChatGPT en classe et en recherche : ce que cela change, ce que vous en faites, comment vous les utilisez — ou ne les utilisez pas, et pourquoi.
Tellement de personnes m’ont répondu qu’après une première chronique sur le sujet, je me permets d’y revenir. Encore une fois, j’ai appris plein de choses en vous lisant et vous en remercie.
Attention aux erreurs !
On le sait, on nous l’a dit, mais on ne s’en rend pas toujours compte et on ne se méfie pas assez : ChatGPT commet des erreurs. Pas en mathématiques élémentaires, tout de même ? Il semble que oui.
Antoine Van Schaftingen me montre la mauvaise réponse donnée à un calcul de probabilités (combien font (5/6)^7 ?). ChatGPT assure que c’est 0,335, en montrant les opérations qu’il faut faire pour obtenir ce résultat. Vérification faite par M. Van Schaftingen, ces opérations donnent plutôt 0,2791.
Informé de cette erreur, ChatGPT s’excuse, refait son calcul… et donne 0,2785 comme résultat ! Averti de sa nouvelle erreur, il s’excuse à nouveau et reconnaît la bonne réponse. Conclusion de M. Van Schaftingen : « Je ne vous cache pas que je ne me serais pas douté que ce que je prenais pour un ordinateur pouvait se tromper sur un calcul aussi simple… »
Autre chose. On vous a sûrement parlé du fait que ChatGPT tend à inventer des références bibliographiques. C’est grave et dangereux, notamment pour l’enseignement et la recherche…
Jean-François Dragon a fait un test à partir des idées qu’un auteur avance dans un de ses livres sur un certain sujet (les intelligences multiples). Il me demande de valider ce que dit ChatGPT, justement parce que je suis l’auteur en question. Résultat ?
ChatGPT est plutôt bon pour résumer mes idées sur le sujet. Mais, et ce ne sont pas de petites nuances pour des chercheurs ou des étudiants, il prétend que certaines de ces idées sont avancées dans un ouvrage… ce qui est faux. Pire encore, il m’attribue des livres dont je ne suis pas l’auteur (je le saurais !) et, en prime, il cite un article d’une revue universitaire que, malgré tous mes efforts, je ne parviens pas à retrouver et qui semble donc… ne pas exister.
Des travaux qui ne se feront plus ?
On s’inquiète avec raison des conséquences qu’aura ChatGPT sur l’évaluation. Faudra-t-il par exemple renoncer à demander de faire certains travaux à la maison, parce que l’élève ou l’étudiant pourrait les lui confier ?
Un cas concret est rapporté par un enseignant d’histoire en 4e secondaire.
Il a demandé à ses élèves de trouver, chez eux ou dans leur entourage, des objets d’une autre époque. Les élèves devait les décrire, puis en sélectionner un et rédiger sur lui un essai répondant à cette question : « En quoi votre objet est-il le reflet de son époque ? » Notre petit chaton (un peu lassé d’écrire son nom…) donne la réponse en 10 secondes. Il est vrai qu’il peut se glisser des erreurs… comme dans une copie d’élève.
Jérôme Soucy enseigne les probabilités à l’université. Belle idée : il donne à ses étudiants des questions d’un examen d’une année antérieure avec ses réponses à lui et celles que fournit ChatGPT.
Son bilan ? Le mignon félin est bon pour appliquer des algorithmes très variés, mais « a de la difficulté à extraire du texte la véritable question posée. À l’exception d’une sous-question de nature encyclopédique (donner la définition de deux événements indépendants en probabilités), il faillit à la tâche systématiquement ». Pire, si le cancre ne répond pas à une question qu’il ne comprend pas, il lui répond et ses propos sont parfois très loin de la vérité. Pas trop grave pour un examen, sans doute. Mais imaginez, dit M. Soucy, que la santé et la sécurité d’êtres humains soient en jeu et qu’on n’ait pas eu la sagesse qu’il faut pour encadrer certaines des décisions que de tels systèmes peuvent inciter à prendre…
Terminons sur une note plus positive.
David Di Pietro, concepteur pédagogique, m’envoie un article universitaire que j’ai lu avec intérêt.
Ses auteurs soutiennent que ChatGPT peut aider à relever trois défis de l’apprentissage en classe : améliorer le transfert ; briser l’illusion de la profondeur explicative ; apprendre aux étudiants à évaluer les explications de manière critique. Comment procéder ? Ils proposent justement des techniques pour ce faire et pour intégrer tout ça dans l’enseignement.
À vous de voir si ça vous convainc.
<h4>À voir en vidéo</h4>
Source : Lire l'article complet par Le Devoir
