Les IA génératives… et si on en parlait avec les étudiant·es ?

Introduction

ChatGPT est arrivé en novembre 2022. En septembre 2024, quand on interroge nos étudiant·es de L1, on s’aperçoit qu’elles et ils l’ont quasiment tous utilisé. Quand on a vu les étudiant·es travailler au semestre dernier, il était clair que les IA génératives étaient utilisées dans de nombreuses situations. Dans le contexte de son mémoire de Master, Selma El Babarti a observé les usages des étudiant·es.

Ces usages vont bien plus loin que l’idée réductrice de tricher pour avoir une meilleure note sans faire d’efforts. Ils vont encore se développer avec la puissance attendue de nouveaux modèles, l’introduction des IA dans de plus en plus d’applications et l’imagination fertile des EdTechs. Il est donc difficile de faire comme si…

Certains établissements ont déjà produit des règles, des recommandations. Les étudiant·es en ont besoin : l’insécurité qu’entraîne l’impact si important d’un tel outil utilisé sans règle est inacceptable. C’est en particulier le cas des étudiant·es de doctorat qui se demandent aujourd’hui si l’utilisation de l’IA générative ne leur sera pas reprochée un jour, mettant alors en péril leur travail de thèse.

Toutes et tous nos étudiant·es ont besoin de savoir. Faut-il interdire ? Faut-il compter sur les détecteurs ? Faut-il juste faire peur pour éviter une utilisation massive ?

Faut-il au contraire encourager l’utilisation et augmenter notre attente ?

Le document présenté dans la suite de cet article ne vise pas à donner des réponses globales à ces questions. Nous en discutons régulièrement sur le blog de la Chaire RELIA. De plus, la situation est sans doute différente en fonction des disciplines, du niveau des étudiant·es, des attendus de la formation. Ce document a une ambition de départ limitée : il vise tout juste à discuter avec mes étudiant·es de L1, dans l’enseignement d’informatique, et très précisément de l’UE XLG1IE020 – Algorithmique et programmation pour les sciences, une unité d’enseignement de première année de licence, dispensée à plus de 500 étudiant·es.

En septembre 2024, j’ai introduit le sujet. Voici les diapositives utilisées, commentées.

Remarques préliminaires

Ces remarques préliminaires sont nécessaires. Je ne veux pas imposer des règles aux autres disciplines. Mais j’estime que les étudiant·es ont le droit d’entendre la position de leurs enseignant·es sur ces questions.

Les IA génératives

C’est le dernier point de cette diapositive qui peut être controversé. Un·e étudiant·e peut-il/elle décider qu’il/elle ne veut pas utiliser les IA génératives ? Peut-on en 2024 faire appel à une clause de conscience pour refuser de s’en servir ? Il y a quand même de vrais arguments contre ces technologies, contre le monde que les géants d’Internet veulent nous imposer sans vraiment nous consulter. La question se pose-t-elle de la même manière pour une personne en général ? Ma réponse en plusieurs points :

1. Les IA génératives sont utiles pour mieux faire son métier d’étudiant·e. La position des expert·es n’est pas unanime mais peu d’expert·es n’acceptent pas que « bien utilisée, l’IA générative est un formidable outil pour les étudiant·es ». Ils/Elles diraient cela également pour les enseignant·es, d’ailleurs.
2. Considérons un outil avec lequel nous sommes plus familiers : les correcteurs orthographiques et grammaticaux. Notons en passant que ces outils utilisent déjà l’IA. En tant qu’enseignant, il y a quelques années, j’acceptais avec une certaine résignation qu’un·e étudiant·e me remette un devoir rédigé hors de la salle de classe contenant un (très) grand nombre d’erreurs. Aujourd’hui, je n’accepte plus qu’un·e étudiant·e me remette un devoir truffé de fautes d’orthographe et de grammaire. Un travail élémentaire avec un éditeur de texte (ou avec une IA) permet d’éviter cela facilement : je juge donc que de ne pas utiliser cet outil correctement relève de la faute. En d’autres termes, mon niveau d’exigence a augmenté. Et je pense que cela sera le cas avec l’utilisation progressive des IA génératives : notre attente va augmenter. Donc doit-on laisser croire à un·e étudiant·e qu’il/elle ne risque rien à ne pas utiliser les IA génératives ?
3. Il y a bien entendu l’enjeu de l’équité : les étudiant·es n’auraient pas toutes et tous accès à un ordinateur, à Internet. Donc recommander l’usage d’un outil qui ne serait accessible qu’à quelques-un·es serait déloyal. Il convient de répondre que la situation est déjà injuste et inéquitable aujourd’hui, mais que Nantes Université a mis en place de nombreux dispositifs pour permettre l’accès à des ordinateurs et à Internet pour les étudiant·es. On peut également indiquer que les enquêtes montrent qu’en réalité, toutes et tous ont accès à un ordinateur, du moins à la Faculté des Sciences (enquêtes de rentrée). Enfin, mon expérience est que la plus grande barrière à l’utilisation utile des IA génératives n’est pas la barrière matérielle : c’est la barrière culturelle.

Quelques rôles en éducation

Cette diapositive est très schématique et réductrice. Mais parfois, des messages simples sont utiles… En rouge, l’utilisation à éviter. En vert, celle à encourager. On pourrait comparer l’IA à de nombreux autres outils. L’ascenseur par exemple : ne jamais l’utiliser signifie se priver du plaisir de voir la vue du haut d’un immeuble. Toujours l’utiliser peut entraîner des maladies cardio-vasculaires. On citera plus loin un article scientifique qui montre que l’utilisation des IA pour faire le travail à sa place est contraire à l’intérêt de l’étudiant·e.

On objectera qu’il est toujours possible de monter sans ascenseur et que l’utilisation de l’ascenseur n’est pas à elle seule la cause d’un infarctus ! Mais c’est aussi le cas pour les IA génératives : on peut s’en passer sous certaines conditions, et on peut également les utiliser beaucoup quand on en a la maîtrise.

Rôle en Informatique

En réalité, c’est sans aucun doute l’ensemble des exercices demandés en licence qui peut être résolu avec une IA générative. C’est aussi ce que les collègues des autres disciplines me racontent. Mais c’est aussi ce que la recherche montre. Et ce qu’on sait de GPT 5 est que le niveau Master ne sera sans doute plus un obstacle bientôt.

Il est inutile et contre-productif de cacher cela aux étudiant·es. Ils/Elles le découvriront et les plus vulnérables pourront peut-être, en attendant, souffrir d’une incompréhension à cause d’un partage inéquitable de ce type d’information.

Mais les deux questions qui suivent sur la diapositive se posent bien. Elles constituent déjà un problème au lycée et même au collège dans le cas de l’enseignement des langues. L’enseignant·e doit apporter sa réponse.

À la première question, on répondra sans doute que l’humain a toujours travaillé, en phase d’apprentissage, sur des tâches accessibles à d’autres et déjà maintes fois résolues. Un·e alpiniste va gravir des montagnes locales de nombreuses fois avant de s’attaquer à un 8000. Il n’est donc pas incongru d’apprendre l’informatique en effectuant des tâches que l’IA peut faire.

La seconde question est bien plus difficile, à mon avis. J’envisage deux réponses. La première est optimiste (trop ?). La seconde est pessimiste (trop ?).

Dans le premier cas, on partira du constat que l’utilisation efficace des IA génératives nécessite qu’on pose de bonnes questions. Pour s’en convaincre, on peut se demander si on est capable d’écrire un prompt intelligent et utile sur un sujet qu’on ne connaît pas du tout. Et qu’en réalité, on est donc en train de glisser d’une éducation qui nous apprend à donner des réponses à une éducation qui nous apprend à poser des questions. Et que pour poser de bonnes questions… on étudie.

Cette position n’est pas théorique : quand on observe nos étudiant·es, pourquoi les meilleur·es vont-ils/elles obtenir de ChatGPT un bien meilleur résultat que les plus démuni·es ? Est-ce une question de chance ? Ou n’est-ce pas plutôt une question de méthodologie, de maniement de la langue, de compréhension du contexte…?

La seconde réponse tient d’un pari de Pascal. Il s’agit de faire le pari que l’humain va rester au centre de ce monde dans lequel l’IA va jouer un rôle de plus en plus important. À condition que cet humain trouve sa place et ait développé, pendant ses années d’études, les qualités qui vont lui permettre de rester en contrôle.

Remarque et invitation

Concrètement

Oui, il convient d’être concret, de dire comment l’enseignant·e voit les choses. Dans ce cas, le choix est :

• En cours, inutile de légiférer. On voit de la part des étudiant·es des usages intéressants. Ainsi, dans un amphithéâtre similaire, les discussions sur le Wooclap ouvert par l’enseignant·e (!) relèvent de l’entraide : un point obscur du cours, une question, la réponse d’un·e autre étudiant·e. Il est probable que l’IA générative soit utilisée par des élèves plus timides pour comprendre rapidement un concept.
• En TDs et en TPs, il faut que l’enseignant·e ait réfléchi à un scénario pédagogique avant de laisser ouverte la possibilité d’utiliser les IA génératives. Sinon -et c’est ce qu’il m’est arrivé l’an dernier en M1- les étudiant·es les plus perdu·es vont juste copier l’énoncé comme prompt et récupérer telle quelle la solution proposée. Mais comme il s’agit d’interdire, il vaut mieux le faire en expliquant pourquoi : parce qu’il y a des chargé·es de TDs et de TPs, parce que l’enseignant·e suggère de travailler en groupe sur ces questions (plus facile si on a une disposition de la salle qui s’y prête), parce que l’enseignant·e autorise même les étudiant·es à se déplacer pour aller voir un·e autre étudiant·e…
• Au contrôle continu sur table, il y a un vrai enjeu. Avant d’autoriser l’emploi d’objets numériques, et donc sans doute d’IA, il faut avoir mûrement réfléchi aux conséquences. Cela signifie que le travail à domicile de l’étudiant·e sera forcément différent. Dans ce cours de L1, le choix est de ne pas autoriser l’utilisation d’IA génératives par l’interdiction d’accès aux ressources numériques le jour du contrôle. Mais ailleurs, des enseignant·es envisagent des scénarios pédagogiques où les IA peuvent être utilisées dans des situations d’évaluation.

Plus difficile est la question du devoir à rendre. Le choix de ce cours est de ne pas avoir cette modalité de contrôle des connaissances. Mais dans le cas où l’on tient à noter ce type de travail, il faut absolument en discuter. Et surtout se rappeler qu’il est très facile de déjouer tous les détecteurs d’IA générative.

Enfin, et il est bon de le rappeler, l’Université doit rester un lieu spécial, où l’on réfléchit, où l’on étudie. Avec les cours à distance et leur accélération liée au COVID, l’Université a cherché à s’introduire chez les étudiant·es. Cela dessert tout le monde. Donc, chez eux, les étudiant·es font comme elles/ils veulent.

Quelques choses à savoir quand même

Les étudiant·es font comme ils/elles veulent à l’extérieur de l’Université, mais il convient de leur rappeler quelques vérités.

L’IA se trompe régulièrement. On verra plus loin pourquoi le terme suggéré est « conneries » (bullshit). J’avais proposé « bonimenteur », car l’un des soucis est que l’IA « cause » tellement bien que les étudiant·es les plus vulnérables ont beaucoup de mal à la remettre en question. Mais « bonimenteur » indique une volonté d’aboutir à un résultat particulier, que l’IA n’a pas.

L’IA est un outil. Ça se discute…certain·es veulent en faire un assistant, voire un co-auteur. Regardez les noms des produits et les vidéos de lancement des IA : co-pilot, AI assistant, research buddy… C’est dans notre contexte de l’éducation une erreur. On peut rejeter la faute sur un co-auteur ou sur un assistant. Pas sur un outil. Quand on commet des fautes avec un outil, c’est qu’on l’utilise mal.

La difficulté est d’exercer son esprit critique. C’est fondamental de comprendre ça. Un·e étudiant·e en difficulté copiera l’énoncé puis, verbatim, la réponse. Un·e bon·ne étudiant·e exercera deux fois son esprit critique : en transformant l’énoncé en une ou plusieurs question(s), ce qu’il/elle arrivera à faire parce qu’il/elle comprend le sujet, puis ne se satisfera sans doute pas de la première réponse et filtrera celle-ci avec de nouvelles questions pour aboutir à un résultat satisfaisant.  

Réviser avec les IA génératives

Cette diapositive mériterait un traitement approfondi. Il faut même imaginer qu’assez vite, les enseignant·es de MTU (Méthodologie du Travail Universitaire) s’en saisissent. À la Chaire RELIA et dans la littérature, on commence à trouver des analyses et des scénarios utiles.

Je finis la présentation en évoquant deux articles très récents.

Generative AI Can Harm Learning

Un article de l’été 2024 pointé, depuis, un grand nombre de fois. Ce que l’article dit est important et montre une limite de l’IA en éducation. Mais ne jetons pas non plus le bébé avec l’eau du bain. L’article montre que dans un contexte assez général, utiliser l’IA est contre-productif à court terme. Il s’agit d’un enseignement de mathématiques et d’une expérience sur 1000 élèves environ. Le groupe témoin a révisé normalement, sans IA. Un autre groupe a travaillé avec un tuteur directement inspiré de ChatGPT. Le 3^ème groupe utilise un tuteur IA un peu plus pédagogique qui agirait comme le ferait un·e bon·ne enseignant·e : il ne répond pas à la question directement mais propose un chemin pour que l’élève trouve. Les résultats montrent que dans la phase de révision, les élèves utilisant une IA générative vont mieux « réussir ». Autrement, ils vont avoir de meilleurs résultats sur les exercices faits à la maison. Mais sur le test en classe, sans IA, ce n’est pas le cas.

ChatGPT is Bullshit

Cet article récent (juin 2024) au titre outrancier vient pourtant dire des choses essentielles. Que l’IA ne se trompe pas, ne ment pas. Pour faire cela, un LLM devrait avoir une notion du vrai et du faux. Ce n’est pas le cas. L’IA confond donc allégrement le vrai et le faux. En anglais, elle « bullshit ». Un philosophe et essayiste américain avait développé une théorie du bullshit, et cela s’est traduit au français en « des conneries ».

Remarques finales

Ces diapositives reposent sur 3 grandes idées :

• pour un·e étudiant·e, ne pas utiliser l’IA est contre-productif ;
• pour un·e étudiant·e, utiliser l’IA sans exercer d’esprit critique est contre-productif ;
• l’IA est un outil.

Ces idées sont valides (mais ce ne sont pas les seules) à l’automne 2024. Mais le seront-elles encore dans quelques mois avec de nouveaux progrès de l’intelligence artificielle ?

Les idées exprimées ici sont “à discuter”. C’est pour cela que nous avons ouvert la possibilité de commenter : exprimez-vous !