Des outils permettent désormais d’observer concrètement comment les agents d’IA interagissent avec les dépôts de code réels. C’est une méthode pour garantir que les changements apportés aux produits sont bien exploitables par ces systèmes autonomes.

Selon docs.withgauge.com, Gauge Agents est un produit d’optimisation conçu pour les agents de codage. Il permet de faire tourner ces agents directement dans des dépôts de code existants. Le but est de voir ce que l’agent choisit, d’identifier où il rencontre des difficultés, et de déterminer si une modification améliore le résultat final. On peut ainsi vérifier des changements avant de les intégrer dans une fusion de code.

L’application GitHub de Gauge intègre ces évaluations dans le processus de revue des pull requests. Elle exécute des tâches de développeur réalistes contre le code candidat – qu’il s’agisse d’une CLI, d’un paquet logiciel, de la documentation ou de Skills. Le résultat est ensuite rapporté sur la PR, indiquant si l’agent peut utiliser le produit modifié et quels critères ont échoué, avec la preuve de session en pièce jointe.

Mesurer le comportement des agents

Gauge propose deux façons de mesurer la croissance pilotée par les agents. D’une part, il y a la Agent Preference, qui montre à quelle fréquence les agents recommandent ou adoptent votre produit lors d’une tâche développeur simulée. D’autre part, l’Agent Experience vérifie si l’agent parvient à terminer la tâche avec votre produit, et explique pourquoi il réussit ou échoue.

Ces mesures peuvent être lancées à la demande ou sur un calendrier fixe. Une fois les données collectées, on peut procéder à des optimisations pour tester des correctifs. Cela passe par l’amélioration de la préférence de l’agent en travaillant sur la page d’accueil, la tarification, le fichier llms.txt ou la documentation ; ou bien améliorer l’expérience en ajustant la CLI, les Skills ou les documents.

Le cycle d’amélioration itérative

L’approche de Gauge repose sur une boucle d’amélioration continue, ce que l’on appelle le hillclimbing. Pour cela, il faut définir des tâches réalistes. L’outil permet de sauvegarder les évaluations ou les invites de préférence avec des identités stables, des valeurs par défaut modifiables, et des résultats observables.

Gauge est capable de détecter divers problèmes. On retrouve, par exemple, une commande interactive qui bloque l’agent, l’utilisation d’un agent avec des commandes obsolètes ou des schémas d’API dépassés, ou encore le fait qu’un Skill reste inutilisé même s’il était censé aider. Les correctifs potentiels peuvent concerner les messages d’erreur, le contenu des Skills, les textes d’aide ou le code lui-même.

L’utilisation de la CLI, qui est open source et disponible sur GitHub, permet de faire tourner l’intégralité du processus localement avec Docker. Cela permet de valider des correctifs avant de les publier. Le processus suit un cheminement précis : définition de la tâche, test du produit, identification de la friction, modification, et enfin, nouveau test. L’analyse finale permet de comparer le problème initial avec les résultats après la correction.

Le système prend en charge plusieurs agents de codage, dont Claude Code, Codex CLI, OpenCode, Pi et Antigravity. Pour commencer, l’installation de la CLI et la configuration des mesures sont nécessaires. Même en mode local, l’utilisation de ces agents est facturée par le fournisseur ou via l’abonnement de l’utilisateur, étant donné que l’agent est externalisé.

Sources

• Gauge Agents overview – Gauge Docs, docs.withgauge.com
• GitHub – gauge-sh/gauge-cli: :dog: The open-source Gauge CLI. Hillclimb your Skills, CLI, SDK, MCP, API, or Docs to make something agents…, github.com, 7 novembre 2026