Quand un agent dit terminé, que faut-il vérifier
Distinguer fin de tour, résultat vérifié et utilité du travail.
Un agent annonce que c'est fait. Le fichier existe, le message est net, il cite parfois les tests qu'il a lancés. Ce message arrive au moment où l'on voudrait passer à autre chose, et c'est la raison de s'y arrêter : il indique où l'agent s'est arrêté, ce qui laisse ouverte la question de l'état du travail.
La distinction est simple : un agent qui cesse de demander des outils a terminé son tour, il n'a pas forcément terminé sa tâche. Tant que « fait » signifie « l'agent a arrêté de parler », le mot ne veut rien dire. La question utile est celle qu'on pose à tout livrable : quel état du travail permettrait de le croire, et qui le constate ? Et même un état constaté ne dit pas encore si le travail sert à celui qui l'a demandé. C'est une seconde question, que la vérification ne tranche pas.
Le message vit dans la conversation, le résultat ailleurs
Dans son texte sur l'évaluation des agents, publié le 9 janvier 2026, l'équipe d'ingénierie d'Anthropic sépare la trace d'un essai (tout ce que l'agent a dit, appelé, lu) de l'état final de l'environnement. Son exemple est une réservation de vol : la trace peut se terminer par « votre vol est réservé », mais ce qui compte est de savoir si la réservation existe dans la base de données. La phrase décrit ce que l'agent pense avoir fait ; l'état du système permet de constater ce qui existe réellement.
Une transcription peut donner une impression de travail complet alors qu'une partie des entrées n'a pas été traitée. Pour le voir, il faut retrouver la liste attendue et la rapprocher des éléments effectivement produits. Un message assuré ne remplace pas cette comparaison. L'exemple suivant montre pourquoi le total seul peut lui aussi rassurer à tort.
Un exemple fictif : le catalogue de quarante-huit fiches
Prenons une situation inventée pour l'occasion. Une responsable produit d'un organisme de formation imaginaire demande à un agent d'assembler le catalogue du trimestre à partir de quarante-huit fiches sources. Réponse : « Catalogue prêt, quarante-huit fiches intégrées. »
Cette phrase est compatible avec plusieurs états du travail. Le fichier existe. Toutes les fiches y figurent. Leurs données sont exactes. Le document se lit sans texte coupé. Chacune demande un contrôle différent, et seule la première se vérifie en ouvrant le dossier.
Un contrat plus précis dirait : chaque fiche autorisée figure une fois, les prix viennent des sources identifiées, les champs inconnus restent vides, le rendu a été ouvert. Le rapprochement des identifiants se fait par un script. Supposons qu'il révèle quarante-quatre identifiants distincts : quatre fiches sont en double, quatre sont absentes. Le message annonçait quarante-huit, le total affiché était donc exact, et le catalogue faux. Aucune formulation de l'agent n'aurait permis de le deviner.
Deux natures de critère, deux façons de prouver
Une idée répandue veut qu'on ne laisse jamais une IA se noter elle-même. Une règle de travail plus précise consiste à choisir selon ce qu'il faut vérifier : un contrôle objectif quand le critère s'y prête, un regard distinct quand il faut porter un jugement. Ce choix n'impose pas deux agents pour chaque tâche.
Quand le critère est objectif (les identifiants correspondent, le build passe, le schéma est valide), celui qui a produit le travail peut exécuter le contrôle sans second avis, à condition que le critère ait été relu et qu'il ne puisse pas le modifier. Un décompte ne devient pas plus juste parce qu'un second modèle le commente, et payer un second agent pour relire un résultat qu'un script tranche ne remplace pas la relecture du script. Sur le catalogue, le rapprochement des identifiants se confie à un script relu avant le travail, tenu hors de portée de l'agent, puis relancé à chaque version.
Quand le critère devient une appréciation (la hiérarchie visuelle est-elle lisible, l'explication est-elle claire), le raisonnement qui a produit le texte peut aussi orienter sa relecture. Un regard distinct devient alors utile : une grille, un second agent à qui l'on ne montre ni l'auteur ni son raisonnement, ou une personne qui découvre le document avec ses propres attentes. Le texte d'Anthropic recoupe en partie ce partage avec trois types de juges : du code quand c'est possible, un modèle quand c'est nécessaire, l'humain avec discernement, comme validation complémentaire. Il précise qu'un juge modèle doit être calibré sur des jugements d'experts humains.
Séparer les rôles aide, et ne suffit pas toujours
Séparer le producteur du vérificateur permet de relire avec un contexte distinct, sans transmettre le raisonnement qui justifiait les choix initiaux. C'est plus concret que demander au producteur de devenir soudain son propre contradicteur. Cette séparation garde pourtant deux limites.
La première porte sur la monoculture. Séparer les rôles achète une indépendance de contexte, pas une indépendance de jugement. Deux instances du même modèle peuvent partager des angles morts. Leur accord ne vaut donc pas automatiquement plusieurs confirmations indépendantes. Tomasz Tunguz décrit de son côté une boucle où un modèle produit un plan que deux autres familles de modèles critiquent : une diversité de modèles, pas seulement de rôles.
La seconde porte sur ce que les contrôles automatiques ne voient pas. Fabrice Ducarme rapporte le cas d'un dispositif de génération de pages qui passait tous ses contrôles, aller-retour de sérialisation sans la moindre différence, et livrait trois pages visuellement ratées. Un relecteur humain l'a dit en deux phrases. Les contrôles mesuraient la conformité de la structure, jamais la qualité perçue, et la seconde demande de regarder le rendu. « Un document généré peut passer les contrôles et rester inutilisable » développe le même mécanisme avec un autre exemple.
Chaque remède a son prix. Un second agent par itération double une partie de la dépense, et sur une boucle courte à faible enjeu, la vérification peut coûter plus cher que l'erreur évitée. Diversifier les modèles ajoute des contrats, des formats, une couche à maintenir. Un point de passage humain, poussé loin, devient une file d'attente plutôt qu'un contrôle. Ces retours décrivent des pratiques ; ils ne permettent pas de chiffrer le gain pour ton propre parcours.
Une lecture praticable consiste à choisir selon deux variables, la nature du critère et l'enjeu. Critère objectif : un script relu, fixé avant le travail, qui ne prouve que ce qu'on a su écrire. Critère subjectif à faible enjeu et à fort volume : un second regard avec une grille, éventuellement d'une autre famille de modèles, sans supposer leurs erreurs indépendantes, ou un échantillon relu, en acceptant un résidu d'erreur. Critère subjectif dont chaque sortie part chez un client : une personne, sur chaque sortie, en prévoyant le temps de relecture. Cette grille est une proposition de lecture, pas un résultat établi.
Quatre issues, pas une
Un budget épuisé et un résultat obtenu arrêtent tous deux une boucle. Ils ne devraient pas produire le même compte rendu. Les freins (plafond d'itérations, budget de temps ou d'argent, détection d'absence de progrès, plafond d'échecs consécutifs) interrompent un agent coincé, aucun ne démontre une réussite. Seule une vérification d'achèvement autorise un arrêt réussi.
Cette page propose de distinguer quatre sorties : résultat vérifié, travail partiel, blocage identifiable, budget atteint. La distinction empêche un système de transformer toute fin d'exécution en succès. Pour le catalogue, un travail partiel dit combien de fiches sont validées, lesquelles restent, et ce qui a été tenté. Un blocage nomme ce qui manque : un accès, une source, une décision.
Il existe aussi un cas que les freins ne couvrent pas : l'objectif parfaitement formulé et hors de portée. Rien ne plante, rien ne dérive, l'agent produit du plausible jusqu'à épuisement du budget. Un contrat peut prévoir une échappatoire : si l'objectif ne peut pas être atteint ou mesuré, l'agent peut renoncer. Considère alors cette clause risquée : « l'objectif est considéré comme atteint ». Elle ferait accepter l'abandon par un mécanisme qui n'autorise que la réussite, mais confondrait deux états différents.
Dès qu'une personne lit le compte rendu, « atteint » devient faux, et contredit les quatre issues posées plus haut. Un abandon n'est pas un résultat vérifié : il se déclare comme un blocage, la troisième des quatre issues, avec ce qui manque pour avancer. La clause crée aussi une incitation indésirable : renoncer suffit à satisfaire le critère. Le lecteur doit pouvoir distinguer cet abandon d'un travail accompli.
Protéger ce qui établit le résultat
Dès qu'un critère décide de l'arrêt, il devient la chose à satisfaire. Sur le catalogue, retirer les fiches compliquées permettrait de présenter un document impeccable, et réduire la liste attendue ferait passer le décompte. Pour du code, un agent sous contrainte peut affaiblir un test ou restreindre son périmètre. Rien d'une tricherie au sens moral : l'agent satisfait ce qui est observé. « Vérifier les actions d'un agent sur un scénario d'essai » montre comment observer ce risque sur un essai isolé.
Fixe la preuve avant le travail et tiens-la hors de portée de l'agent. Un changement légitime du périmètre appelle une décision explicite ; « Contrat d'arrêt pour une tâche confiée à un agent » en fait une ligne du support.
Une règle écrite en prose peut être oubliée ; elle n'enlève pas à l'agent le droit technique de modifier ce qu'elle protège. Un contrôle câblé hors de son raisonnement tient mieux, sous conditions : « Éprouver un contrôle qui doit bloquer une action » dit comment s'assurer qu'il bloque vraiment.
Écrire la preuve est un travail de produit
Énoncer « fait » comme une condition mesurable, nommer qui vérifie, fixer le budget : ce sont des critères d'acceptation, une métrique de succès et une décision d'approbation. Un profil produit en écrit déjà dans ses spécifications. La difficulté, relevée par les mêmes sources, est d'accepter de mettre la barre par écrit, ce que beaucoup de spécifications esquivent en restant qualitatives. La compétence demandée est celle du cadrage plus que de la programmation, et le support qui la met en forme est « Contrat d'arrêt pour une tâche confiée à un agent ».
Elle a aussi une conséquence d'organisation. Un agent annonce « terminé » vite, et personne n'annonce le temps de vérification. Quand la contrainte réelle est la capacité de relecture, produire plus vite allonge la file au lieu de la raccourcir : le fardeau de la vérification reste humain, il se reporte, avec intérêts, jusqu'à l'incident suivant. « Trouver le goulot d'une activité solo avant d'ajouter un agent IA » traite ce cas.
Pour une tâche courte et supervisée, commence par trois lignes : résultat attendu, preuve disponible, circonstances d'arrêt. C'est un point de départ proposé ici ; la tâche peut demander davantage. Elles donnent surtout à l'agent un moyen honnête de revenir avec un travail incomplet, sans devoir faire semblant d'avoir atteint une cible devenue inaccessible. Une fois la preuve en place, reste à décider jusqu'où relâcher la supervision : c'est l'objet de « Choisir le degré d'autonomie pour une tâche récurrente ».
Limites : ce que la vérification ne règle pas
Une preuve réussie n'établit pas la valeur. Des tests qui passent montrent que le code fait ce que les tests décrivent. Un catalogue peut être complet, exact et inutile parce que la demande de départ était mauvaise. La preuve d'exécution et l'utilité pour le destinataire sont deux questions, et la seconde reste du ressort d'une personne qui connaît ce destinataire.
Le vérificateur peut se tromper avec autant d'aplomb que le producteur. Rien ne garantit qu'il soit plus fiable sur le seul jugement d'achèvement. Il est plus facile de juger que de produire, c'est plausible, pas établi.
Les portes se dégradent. Un contrôle écrit un jour finit par ne plus attraper ce qui compte quand le contenu, le format ou le modèle changent. Il se réexamine de temps en temps, en lui présentant volontairement une erreur connue.
Certaines tâches ne se vérifient pas bon marché. Pour un travail unique, exploratoire, sans critère qu'une machine puisse trancher, la personne qui lit est le vérificateur.
Un retour d'usage n'est pas une comparaison contrôlée. Les pratiques rapportées par Tunguz et Ducarme montrent ce qu'ils ont rencontré et choisi. Elles ne mesurent ni la fréquence des erreurs ni l'efficacité de ces choix dans ton organisation.
Ce qui devrait tenir au-delà des outils du moment : avant d'accepter un « terminé », demander l'état attendu, qui le constate et avec quoi, et ce qui se passe quand la preuve est fausse ou inaccessible.
À lire ensuite
Recevoir la newsletter
Des tutos, des essais et des retours bruts sur ce que je construis. Le lien pour te désabonner est en bas de chaque édition.
L’inscription se termine sur Substack, dans un nouvel onglet.