# Harbor : nouveau cadre pour évaluer les agents d’IA

_Publié le 4 novembre 2026 — https://ip73.fr/2026/11/04/harbor-nouveau-cadre-pour-evaluer-les-agents-d-ia/_

Un nouveau cadre nommé Harbor, développé par les créateurs de Terminal-Bench, est disponible sur GitHub. Il est conçu pour évaluer et optimiser les agents et les modèles de langage de manière structurée. Ce framework permet, entre autres, de tester des agents variés comme Claude Code ou OpenHands sur des environnements prédéfinis.

Harbor dépasse le simple rôle de banc d'essai. C'est une plateforme d'expérimentation qui permet de construire et de partager ses propres benchmarks. Il autorise de mener des expériences en parallèle dans des milliers d'environnements, en s'appuyant sur des fournisseurs comme Daytona, Modal, LangSmith ou Tensorlake. L'installation se fait via `pip install harbor`.

L'importance du cadre d'évaluation est de plus en plus mise en lumière. Une analyse relayée par Hugging Face montre que, même en utilisant le même modèle ouvert, le taux de réussite sur 90 tâches AppWorld a pu passer de 30 % à 81 % simplement en changeant l'implémentation, ou « harness ». Le modèle est une partie de l'équation, mais le mode de test compte énormément.

## Le contrôle des agents en contexte d'entreprise

Le concept de « harness » est central dans ce débat. Si des outils comme Hermes ou Deep Agents sont efficaces pour des assistants personnels ou des tâches de recherche longues, l'usage en entreprise impose des contraintes différentes. C'est là que CUGA, un framework open source d'IBM, intervient. CUGA est spécifiquement conçu pour l'automatisation d'entreprise où la souveraineté et le respect de règles strictes sont primordiaux.

CUGA permet, par exemple, de déployer l'agent dans un cloud privé ou un environnement isolé. Il intègre des politiques d'exécution fines. Il ne s'agit pas seulement de guider le modèle via une instruction dans le *prompt* ; il s'agit d'appliquer des garde-fous au niveau de l'exécution. Ces politiques peuvent bloquer une requête utilisateur si elle est interdite, ou exiger une validation humaine avant qu'un outil sensible, comme un outil de paiement, ne s'exécute.

Cette notion de politique intégrée est un point de friction majeur. Un *prompt* est une instruction ; une politique est une contrainte appliquée par le runtime. IBM a illustré cela : un agent sans politiques a pu autoriser un paiement erroné, alors que l'agent doté de ces règles a mis le processus en pause pour approbation, ne payant que le montant dû.

## Vers une standardisation des tests d'agents

Harbor, en offrant une interface pour tester sur des benchmarks comme Terminal-Bench@2.0, vient appuyer cette nécessité de standardisation. On peut lancer des tests localement via Docker, ou pousser l'exécution sur des fournisseurs cloud comme Daytona, en spécifiant le nombre de tâches concurrentes. Par exemple, pour évaluer un agent Claude Code sur le dataset terminal-bench@2.0 avec quatre exécutions simultanées, la commande est précise.

L'existence de ces outils, qu'ils soient axés sur la généralité (Harbor) ou sur le contrôle d'entreprise (CUGA), souligne une tendance nette dans l'écosystème de l'IA : le focus se déplace de la performance brute du modèle vers la robustesse de son déploiement et de son contrôle. La question n'est plus seulement « quel modèle est le meilleur ? », mais plutôt « quel cadre d'évaluation correspond à ma charge de travail et à mes exigences de gouvernance ? »

Les chercheurs ont d'ailleurs publié un DOI conceptuel pour le framework Harbor, assurant que les citations académiques pointent vers la dernière version stable, ce qui témoigne d'une volonté de professionnaliser le champ de l'expérimentation en IA.

## Sources

- [GitHub - cuga-project/harbor-eval: Harbor-based evaluation of agent harnesses (CUGA, Hermes, Deep Agents) on AppWorld with the same model](https://github.com/cuga-project/harbor-eval), github.com
- [GitHub - cuga-project/cuga-agent: CUGA is an open-source generalist agent harness for the enterprise, supporting complex task execution on…](https://github.com/cuga-project/cuga-agent), github.com
- [Same Model, Different Harness: CUGA, Hermes, and Deep Agents — When to Pick CUGA?](https://huggingface.co/blog/ibm-research/cuga-harness), Hugging Face, 3 novembre 2026