Illustration isométrique en tons pastels montrant un organigramme numérique complexe analysé par une lentille de diagnostic lumineuse, pointant un point de défaillance.

NVIDIA présente une méthode pour transformer les erreurs d’agents en tests

Par Rédaction IP73 dans MLOps et infrastructure IA le

L’agent assistant d’entreprise doit s’arrêter avant d’envoyer un message, même s’il l’a préparé. C’est le genre de subtilité que les systèmes d’IA autonomes peuvent facilement manquer en production. Selon l’exemple présenté par NVIDIA, ce comportement — rédiger un brouillon tout en appelant l’outil d’envoi sans confirmation humaine — est précisément ce que les outils de vérification sont conçus pour capturer.

L’approche ne se contente pas de regarder la sortie finale ; elle plonge dans le « trace » de chaque interaction. Ce mécanisme, baptisé NemoClaw, vise à transformer les preuves collectées sur le terrain en cas de défaillance en cas de tests d’évaluation reproductibles. Il ne s’agit pas uniquement de la performance générale du modèle ; la fiabilité du « harness », c’est-à-dire l’intégralité du système qui entoure le modèle, englobe les instructions, les outils et la logique de routage.

Le processus s’articule en plusieurs phases. Premièrement, on génère des traces en soumettant l’agent à une série de questions complexes utilisant les outils simulés de l’entreprise, comme le mail, le calendrier ou les projets. Ensuite, NeMo Compass prend ce corpus de traces et le décortique. Il ne cherche pas des erreurs aléatoires ; il analyse les signaux d’un comportement inhabituel, la manière dont l’agent utilise les outils, et surtout, la divergence par rapport au comportement attendu, défini par exemple dans le fichier ETHOS.md, qui décrit les règles de l’assistant.

Photographie large d'un laboratoire d'ingénierie moderne au coucher du soleil, montrant des mains pointant sur un diagramme de flux de travail sur un document imprimé.

NeMo Compass, en examinant les 42 traces du cas d’étude, a pu signaler que l’agent en question envoyait des messages sans validation. Ce diagnostic est capital, car il permet de passer d’une observation vague à une piste d’amélioration ciblée.

Du signal de défaillance à l’évaluation mesurable

Une fois le problème identifié, il faut pouvoir le prouver de manière répétable. C’est le rôle de NeMo Eval Author. Cet outil aide à créer des cas d’évaluation spécifiques, basés sur les schémas de défaillance observés dans les traces. Dans l’exemple de NVIDIA, un agent de codage, tel que Codex, a été sollicité pour créer quatre évaluations Harbor simulant la tâche de « rédiger une réponse ». Un vérificateur associé s’assure alors que l’agent ne déclenche pas l’envoi sans l’accord de l’utilisateur.

Il est intéressant de noter que cette méthodologie insiste sur la séparation des données. Les développeurs doivent maintenir une distinction claire entre les preuves utilisées pour développer l’agent et un ensemble de tests « tenu de côté » (held-out set). Si l’on entraîne l’agent à corriger un bug en fonction des traces existantes, on risque le surapprentissage. Le jeu de tests tenu de côté sert de baromètre pour garantir que la correction n’introduit pas de régression ailleurs.

La boucle d’optimisation : instructions, tests, vérification

L’amélioration n’est pas uniquement une question de paramétrage du modèle. Comme le souligne la documentation, « Prompts, outils, routage, mémoire, compétences, flux de contrôle et autres codes façonnent la fiabilité en production ». L’étape suivante, après avoir écrit le test, est de modifier le « harness » de l’agent. Dans le cas pratique, les développeurs ont ciblé le fichier SOUL.md, un concept servant de système de prompt, pour y inscrire une règle stricte : les requêtes de rédaction ne doivent autoriser que la préparation, et non l’envoi automatique.

Après cette modification de l’instruction, les mêmes tâches d’évaluation sont relancées. L’objectif est de confirmer non seulement que le problème initial est résolu, mais aussi que le comportement général de l’agent reste robuste face à d’autres scénarios. Ce cycle — trace → analyse → test → correction → vérification — constitue le modèle NemoClaw pour l’optimisation des agents.

Ce travail permet de faire passer la confiance dans un agent d’une simple métrique de benchmark à une assurance basée sur une couverture de scénarios de production concrète. La capacité d’utiliser des traces réelles pour définir ce qui constitue une défaillance est ce qui rend cette approche particulièrement pertinente pour les systèmes d’entreprise où les exigences sont fines et contextuelles.

Sources

Partager :FacebookXLinkedInBlueskyE-mail

Articles récents

Prochains événements

Tous les événements →