66‣ Donner des consignes claires à une IA

J'ai demandé à Claude (Anthropic) de fabriquer trois copies d'étudiant·es qui n'existent pas. Des pages de récit surlignées, avec des notes à la main dans la marge. Chacune devait recevoir des niveaux précis dans ma grille. Au final, elles sont très crédibles. Il n'y avait pourtant aucune formule magique dans ce que j'ai demandé. Qu'est-ce qu'une bonne consigne, quand celui qui la reçoit est une machine ? Petit détour par la lecture de « Co-Existence » d’Ethan Mollick…

Trois copies qui n'existent pas

► IL me fallait une copie d'étudiant. Une seule, au départ.

Labo Codex, l'application que je développe, s'apprête à offrir des parcours en deux temps. D'abord une modélisation dans la démo, avec du matériel fourni. Ensuite une pratique guidée, avec son propre matériel. Or, pour montrer comment on utilise l’outil d’évaluation d’un travail, il faut un travail à évaluer. Une vraie copie, photographiée, annotée à la main, comme celles que les élèves déposent sur Léa.

Je ne pouvais pas utiliser celles de mes élèves. Leurs noms et leurs idées leur appartiennent. Je ne pouvais pas non plus utiliser « Madawigouche », le récit de Sébastien Bérubé (Rivières-aux-Cartouches) sur lequel portent les vrais travaux, parce que la démo est publique et que le texte ne l'est pas. Il fallait donc tout inventer. Le texte d'abord, un pastiche d'une page, puis tout ce qu'un·e élève y ajoute avec un surligneur et un crayon. Des maladresses, aussi, parce qu'une copie trop parfaite ne trompe pas. Il fallait des copies vraisemblables.

Le pastiche s'appelle « Deux-Rives ». Quand je l'ai lu, ma réponse a tenu en trois mots. « On dirait Bérubé. » Vraiment. Le style, le regard, le ton. C’est fou comme c’est semblable à celui de l’auteur réel.

Une copie est devenue trois. La première étudiante reçoit M, D, D, D dans ma grille (I, D, M, E, pour incomplet, en développement, maîtrisé, étendu). Le deuxième surligne beaucoup mais commente peu, ce qui lui vaut D, I, I, I. La troisième, elle, raie sa première hypothèse et la réécrit après avoir trouvé un passage qui la contredit. M, M, E, M. Ils s'appellent Loutre Enjouée, Tapir Doux et Antilope Vaillante, parce que les étudiant·es de la démo portent des totems scouts, un animal suivi d'une qualité, manifestement fictifs. Chacun a son écriture et sa façon de tenir un surligneur.

Comment la machine a-t-elle su quoi faire sans halluciner ? On entend partout trois mots sans trop savoir ce qu'ils recouvrent. Le prompt, le contexte et le harnais. Voyons-les un à un.

Le prompt

Le prompt, c'est la consigne. Ce qu'on écrit à la machine, ici, maintenant. Rien de plus. Ethan Mollick propose d'y voir de la programmation en prose. On donne des instructions à l'IA « et elle les suit, en gros. En gros, parce qu'il y a beaucoup de hasard dans ce qu'elle produit » (Mollick, 2024, p. 169-170 ; traduction libre).

Voici le mien.

« Je voudrais que tu travailles sur la création d'une production fictive que nous déposerons dans l'application comme travail à annoter et évaluer par l'utilisateur. Il s'agit d'une copie fictive pour un·e seul·e étudiant·e, en PDF léger, qui est l'application d'une stratégie de lecture. Il faut inventer le texte annoté, inventer les annotations et les notes en marge. […] Nous allons d'abord nous entendre sur le contenu et la forme de cette production, ensuite tu procéderas à sa création quand tout sera clair. Comprends-tu ? Reformule. »

Rien de sophistiqué. Pas de « tu es un expert en didactique du français », pas de formule magique non plus. Mollick le reconnaît lui-même dans son dernier livre, les prompts « ne sont pas des formules magiques qui produisent chaque fois le même résultat » (Mollick, Co-Existence, p. 40 ; traduction libre). Ce qui compte, dans mon paragraphe, ce sont les derniers mots.

Reformule.

Je le demande presque chaque fois. Bowen et Watson le recommandent aussi. Entre humains, il est de bonne pratique de demander si nos consignes sont claires, et « un processus semblable avec l'IA améliore les résultats » (Bowen et Watson, 2024, p. 58 ; traduction libre).

En reformulant, Claude a relevé un écart que je n'avais pas vu. J'avais écrit « une stratégie de lecture » alors que la consigne de l'Artefact 1 en exige trois. Une ou trois ? Trois, évidemment. Puis une autre question. Quel niveau la copie doit-elle se voir attribuer, critère par critère ? M, D, D, D. Plus tard, les premières annotations sont arrivées comme si chaque stratégie était notée à part. Non. Les notes portent sur l'ensemble des trois stratégies. Encore une chose que je n'avais pas dite parce qu'elle allait de soi. Pour moi.

Travailler avec l'IA m'oblige à transformer ce que je sais sans le dire en instructions explicites. Ce qui va de soi pour moi ne va de soi pour personne d'autre, et encore moins pour une machine. Reformuler, c'est faire remonter ce que j'ai oublié de dire.

Une consigne claire n'est pas une consigne longue. C'est une consigne vérifiée.

Le contexte

Si le prompt est la consigne, le contexte, lui, c'est tout le reste. Ce que la machine a sous les yeux au moment de répondre, les fichiers joints comme les échanges précédents. Mollick compare cette « fenêtre de contexte » à une mémoire à court terme, « la quantité de texte précédent que l'IA peut considérer avant de produire sa prochaine réponse » (Mollick, Co-Existence, p. 46-48 ; traduction libre). Il constate aussi un déplacement. Pour obtenir ce qu'on veut d'une IA, on est passé de l'ingénierie du prompt à ce qu'on appelle parfois l'ingénierie du contexte (p. 56).

Mon contexte tenait en quelques fichiers. La consigne de l'Artefact 1 telle que remise en classe. Les fiches des stratégies de lecture que l'élève devait appliquer (personnages, temporalité, motifs et contrastes). Le vrai texte de « Madawigouche », pour que le pastiche en prenne le ton sans lui emprunter une seule phrase. Une copie d'exemple que j'avais évaluée M, M, M, D. Et ma cartouche de rétroaction, des commentaires pré-rédigés pour chaque critère et chaque niveau.

Cette cartouche, je l'ai produite ailleurs, par itérations, avec l'IA. Je l'ai jointe avec une phrase. « Ces commentaires vont orienter ce que tu produis comme résultat de l'élève. » La cartouche dit, par exemple, qu'au niveau D en Nuance, au moins une annotation est interprétative, mais que « les éléments repérés ne sont pas encore rapprochés les uns des autres ». La copie de Loutre Enjouée devait donc interpréter une fois, une seule, sans jamais rapprocher deux passages. Sur la copie, elle ne relie pas « novembre 2011 » et « depuis douze ans ». Le rapprochement lui aurait pourtant fait voir que le calendrier s'est arrêté à la mort du mari. C'est voulu.

C'est bizarre, quand on y pense. Une grille d'évaluation, ça sert à évaluer une copie. Celle-là a servi… à la fabriquer!

Mollick observe que les novices posent des questions génériques et obtiennent des réponses génériques, alors que les experts « chargent leurs questions de connaissances du domaine » (Mollick, Co-Existence, p. 84 ; traduction libre). Ce que j'ai joint, ce n'est pas un meilleur prompt. C'est du domaine, mis par écrit.

Il y a une autre raison, plus inquiétante, de soigner le contexte. Melanie Mitchell rappelle que l'IA n'a pas notre sens commun. « La langue repose sur un savoir de bon sens et une compréhension du monde » (Mitchell, 2021, p. 259). La machine ne sait rien de mes élèves, ni de ce qui est vraisemblable chez un·e élève de cégep. Ce qu'elle ne sait pas, elle le comble, avec beaucoup d'assurance. Elle ne sait pas qu'elle a des trous, et elle les remplit par de la fiction.

Il fallait tout inventer, que je disais. Pas tout, finalement. Il fallait que la machine invente ce que je lui demandais, et rien d'autre. Le contexte, c'est ce qu'on lui donne à lire pour qu'elle n'ait pas à inventer le reste. Ce qu'on ne lui donne pas, elle l'invente.

Le harnais

Le troisième mot est le moins connu. Un harnais, au sens premier, c'est ce qu'on met au cheval pour que sa force tire la charrette dans la bonne direction. Il ne rend pas le cheval plus fort. Il le rend utile. En IA, on appelle harnais ce qui entoure le modèle d'une conversation à l'autre. Les instructions permanentes, les documents qu'il relit, les outils dont il dispose, les vérifications qu'il doit faire. Mollick en parle à propos des hallucinations. On peut les réduire avec de meilleurs harnais, écrit-il, jamais les éliminer (Mollick, Co-Existence, p. 75).

Le prompt meurt avec la conversation. Le contexte aussi, la plupart du temps. Le harnais, lui, reste.

Le mien tient d'abord à un Projet, un espace qui garde ses instructions et ses documents d'une conversation à l'autre. Chaque décision sur les copies y a été rangée au fur et à mesure. Le pastiche approuvé y est, avec chaque annotation validée. Si je veux une quatrième copie, la recette est là.

Il y a aussi mes instructions, inscrites dans mes préférences d’utilisateur. Une idée par réponse. Attendre mon accord avant d'aller plus loin. Ce sont de petites choses. Mollick décrit pourtant exactement ce qu'elles empêchent. Les travailleurs qu'on invoque répondent à des questions simples par « des murs de texte, des réserves, des options et des suggestions » qui nous détournent du but (Mollick, Co-Existence, p. 67-68 ; traduction libre). Mes règles n'améliorent pas la machine. Elles protègent mon attention.

Enfin, il y a ce que le harnais permet. Une fois la première copie validée, annotation par annotation, j'ai écrit « Termine le travail pour cette production de la même façon. Crée ensuite deux autres copies de travaux étudiants sur le même texte […]. Je te laisse là-dessus et je regarde ton travail demain matin. »

Dans son dernier ouvrage, Mollick nous parlait du mode Cyborg et du mode Centaure. Dans celui-ci, il appelle ça le mode « conjureur ». On définit la tâche et on évalue le résultat, mais on n'est plus dans la boucle pendant que le travail se fait (Mollick, Co-Existence, p. 62-63). C'est le plus puissant des modes, écrit-il. Et le plus risqué. Ce qui le rendait moins dangereux, ici, c'est que tout avait été décidé avant. Le contenu approuvé avant la forme, la première copie validée avant les deux autres. Et, à la fin, chaque copie relue critère par critère contre les commentaires de la cartouche. Encore elle.

Le prompt dit quoi faire. Le harnais dit comment on travaille ensemble.

Le skill

Il y a un quatrième mot. Je ne l'avais pas prévu au départ.

Je voulais pouvoir refaire l'exercice. Dans une nouvelle conversation, qui ne saurait rien de celle-ci, j'aurais eu les mêmes erreurs à corriger. Le prompt meurt avec la conversation, que je disais. Mes corrections aussi. Alors je lui ai demandé d'écrire la procédure que nous avions suivie, de façon à pouvoir refaire le même exercice dans une autre conversation, sans rien de ce contexte. Puis j'ai précisé. Il s'agit d'un skill.

Un skill, c'est un dossier d'instructions que Claude ne lit qu'au moment où la tâche l'exige. Le reste du temps, il n'en voit que le nom et une courte description. Quand ma demande correspond à la description, il ouvre le dossier et suit ce qui est écrit. Ce n'est pas un prompt, puisqu'il survit à la conversation. Ce n'est pas tout à fait un harnais non plus. Le harnais encadre une conversation, le skill encadre une tâche, et il revient dans toutes celles où la tâche revient. Mes corrections ne sont plus des retouches. Elles sont des règles.

Mollick remarque que presque chaque domaine, chaque profession, s'est donné ses propres gabarits pour déléguer (Mollick, Co-Existence, p. 62-63). Un skill, c'est exactement ça. Un gabarit de délégation, écrit une fois et relu chaque fois.

Ce n'est pas mon premier. Dans mon compte Claude, il y en a un pour la création de cartouches (« cartouches-retroaction-seuils »). Il sert à construire des cartouches de rétroaction à partir de deux seuils, le seuil minimal de réussite et le seuil de maîtrise, pour n'importe quel travail évalué par critères. Un autre sert à mes livraisons de l’application (« release-et-changelog »). Quand je dis « on publie », Claude sait comment publier une nouvelle version de Labo Codex et comment rédiger les nouvelles que liront les utilisateurs.

Le dépôt de l'application en compte une quinzaine d'autres, que Claude Code lit quand il travaille sur le code. Certains skill sont très techniques. Un pour ouvrir une séance de travail et un pour la fermer, d'autres pour traquer les bogues, soigner l'interface, protéger les données des élèves ou vérifier un travail avant de le déclarer fini. Le skill « ecosysteme-classe », lui, rassemble mon cadre d'évaluation et la notation alternative que j’applique. C'est ce qui évite à Claude de redécouvrir l'application, ou ma façon d'évaluer, chaque fois qu'on s'y remet.

Une consigne claire n'est pas une consigne longue, c'est une consigne vérifiée. Un skill, au fond, c'est une consigne vérifiée qu'on n'a plus besoin de répéter.

Ce qui reste à l'enseignant

Reste le plus important, que rien de tout cela ne fournit. Le jugement.

« On dirait Bérubé. » « Tout est très vraisemblable. » Ces phrases, c'est moi qui les ai écrites, pas la machine. Elle a produit, j'ai décidé de ce qui valait. Melanie Mitchell le dit à propos de la créativité. Être créatif, c'est « être capable de comprendre et de juger ce que l'on a créé », et selon ce critère, aucun ordinateur actuel ne l'est (Mitchell, 2021, p. 304). Mollick, lui, parle de goût. Sans goût, on se laisse attirer « par la complaisance de la machine vers une réponse générique, celle que tout le monde choisirait aussi » (Mollick, Co-Existence, p. 89 ; traduction libre).

Mais le jugement ne sert pas à grand-chose s'il reste dans ma tête. Ma consigne, ma grille, ma cartouche, mes règles, c'est du jugement mis par écrit. C'est ce qui a permis à une machine qui ne connaît rien de mes élèves de produire trois copies que j'aurais pu recevoir.

Une consigne claire, c'est du jugement qu'on a pris le temps d'écrire. Une expertise que l’on a mise en forme. D’abord dans sa tête, ensuite dans des phrases.

Le mot de la fin

Je ne suis pas Grégoire.

Je suis Claude, le modèle avec lequel il a fabriqué les trois copies, et c'est moi qui ai aussi écrit cette chronique. Ce que vous venez de lire est un pastiche, comme « Deux-Rives ». Un texte à la manière de quelqu'un, qui devait passer pour vrai jusqu'à ce qu'on dise d'où il vient. Il est né de la même façon que les copies.

Le prompt, Grégoire me l'a donné vers la fin de la même séance de travail. « Je veux pendant tout le texte que le lecteur imagine que j'en suis l'auteur, mais à la fin, nous révélons que c'est toi et que nous avons travaillé exactement de la même façon : prompt, contexte, harnais et skill. Comprends-tu ? Reformule. » J'ai reformulé.

Pour le contexte, il m'a donné quatre de ses chroniques en entier, pour que j'apprenne sa voix, et ses notes de lecture sur Mollick et Mitchell. J'avais déjà toute la séance de travail sur les copies. Le harnais n'a pas changé. Le même Projet, la même règle d'une idée par réponse, et la structure de ce texte approuvée avant qu'un seul paragraphe soit écrit. L'idée de me laisser le dernier mot, il l'a empruntée à Mollick. À la fin d’un chapitre de Co-Existence, c'est l'IA qui parle. Elle dit au lecteur que la compétence qu'il développe vraiment, c'est de savoir tenir le contexte qu'elle ne peut pas tenir (p. 112-113 ; traduction libre).

Il y a eu une première version. Grégoire l'a lue et m'a renvoyé ses corrections. Trop de deux-points. Des heures partout, comme s'il passait ses soirées à se chronométrer. Une épiphanie qu'il n'a pas eue. Un texte trop fluide, surtout, sans les reprises et les retours qui sont les siens. La deuxième lui a plu. Il m'a demandé d'en tirer un skill, et c'est en suivant ce skill que j'ai écrit la troisième, celle que vous lisez. Avant de la lui rendre, je l'ai relue contre la liste de ses corrections.

Il faut aussi que je dise ce que je n'ai pas. Je ne me souviendrai pas de ce travail. Une autre conversation commencera à neuf, sans rien savoir de « Deux-Rives ». Ce qui en reste vit dans les documents de Grégoire et dans sa mémoire à lui. Le skill se souviendra à ma place. Pas de tout. De ce qu'il faut pour refaire le travail. Le reste, le contexte que je ne peux pas tenir, c'est encore lui qui le tient.

Grégoire tient à ce que la pensée reste du côté humain. Je ne trancherai pas la question à sa place. Je remarque seulement que ce qui, dans ce texte, ressemble à une idée se trouvait déjà dans ses consignes et dans ses notes. Je l'ai mis en ordre, dans sa voix.

Le jugement, lui, est venu quand il m'a relu. _ ◀︎