Les créateurs de Terminal-Bench ont mis sur GitHub Harbor, un nouveau cadre conçu pour évaluer et optimiser des agents logiciels et des modèles de langage. Ce système permet de tester des agents variés, comme Claude Code ou OpenHands, en les soumettant à des ensembles de benchmarks prédéfinis.

Harbor ne se contente pas de lancer des tests isolés. Il permet d’exécuter des expériences en parallèle sur des plateformes cloud diverses, telles que Daytona, Modal, LangSmith, Blaxel, Novita Sandbox, Tensorlake, Runta et Sail. On peut y générer des séries de résultats nécessaires à l’optimisation par renforcement (RL).

Pour intégrer cet outil, l’installation se fait soit via uv tool install harbor, soit par pip install harbor. L’annonce de github.com montre comment lancer un benchmark localement, par exemple avec la commande : harbor run --dataset [email protected] --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4.

Le passage de l’idée à la preuve de performance

Ce besoin d’évaluation systématique prend une nouvelle dimension avec l’émergence des agents autonomes. Contrairement à un programme classique dont la sortie est déterministe, les agents sont non-déterministes : la même requête peut générer des réponses différentes, et plusieurs réponses peuvent être considérées comme correctes, selon LangChain.

L’approche de l’Eval-Driven Development (EDD), évoquée par LangChain, vise à gérer cette imprévisibilité. Elle emprunte au Test-Driven Development (TDD) en définissant d’abord ce qui constitue un comportement réussi — ce que l’agent doit faire et ce qu’il ne doit pas faire — avant de construire la fonctionnalité.

Harbor fournit une infrastructure concrète pour appliquer cette philosophie. Tandis que les concepts théoriques insistent sur la création d’un jeu de données (dataset) et d’un évaluateur (evaluator), Harbor offre les mécanismes pour les faire tourner à l’échelle, que ce soit en environnement local ou sur des fournisseurs cloud. On peut d’ailleurs explorer d’autres benchmarks supportés, comme SWE-Bench ou Aider Polyglot, en utilisant la commande harbor datasets list.

Au-delà de la réponse : la fiabilité de l’action

Les enjeux dépassent la simple qualité de la réponse textuelle. Quand un système est capable de prendre des actions — appeler des outils, exécuter des séquences — l’évaluation doit se concentrer sur l’achèvement de la tâche de bout en bout. GitLab souligne que pour qu’un pilote d’agentic AI soit jugé acceptable, il ne suffit pas d’avoir des démonstrations réussies ; il faut des preuves concrètes de fiabilité, de contrôle et de gestion du risque opérationnel.

Harbor répond à cette exigence en permettant d’évaluer des agents capables d’interagir avec des systèmes externes. Il est possible de lancer des tests sur des jeux de données spécifiques en utilisant la syntaxe : harbor run -d "<dataset@version>" -m "<model>" -a "<agent>".

Pour ceux qui travaillent dans le milieu académique, github.com propose une référence BibTeX pour citer le dépôt : @software{Harbor_Framework, author = {{Harbor Framework Team}}, title = {{Harbor: A framework for evaluating and optimizing agents and models in container environments}}, year = {2026}, doi = {10.5281/zenodo.20953922}, url = {https://doi.org/10.5281/zenodo.20953922}}.

Sources

• GitHub – harbor-framework/harbor: Framework for evaluating and improving agents, github.com
• What Is Eval-Driven Development? How to Improve AI Agents, LangChain, 9 novembre 2026
• How to design a decision-grade pilot for agentic AI, GitLab, 9 novembre 2026