GitHub a rendu disponible Terminal-Bench 2.0, un banc d’essai destiné à mesurer les capacités des agents et des grands modèles de langage lorsqu’ils doivent accomplir des tâches techniques complexes dans des environnements conteneurisés. Ce benchmark, utilisé par « pratiquement tous les laboratoires de pointe », inclut des exercices allant de l’assemblage de protéines à la résolution de failles de sécurité. Pour l’utiliser, il faut désormais installer Harbor, le nouveau framework d’évaluation d’agents.

Harbor, selon github.com, a été entièrement réécrit par rapport à l’ancien outil d’évaluation de Terminal-Bench. Le but était d’améliorer la fiabilité, l’observabilité, la scalabilité et la performance. TB2.0 est construit avec des tâches plus difficiles, car les capacités des modèles évoluent constamment. Chaque tâche a reçu plusieurs heures de validation, tant humaine qu’assistée par IA, pour s’assurer qu’elle est « solvable, réaliste et bien spécifiée ».

Pour tester, l’installation se fait via uv tool install harbor ou pip install harbor. Ensuite, on peut lancer les jeux de données de référence en local en utilisant la commande : uv run harbor run --dataset [email protected] --agent oracle --n-concurrent 4. Si l’on souhaite tester des modèles spécifiques, comme ceux d’Anthropic, il est possible de configurer l’API key et de lancer le benchmark avec des agents comme terminus-2 ou claude-code en spécifiant le modèle anthropic/claude-opus-4-1.

L’optimisation des compétences des agents

Cette exigence de pousser les limites des agents n’est pas nouvelle. D’ailleurs, l’optimisation des compétences (skills) des agents est un sujet actif, comme le montrent les travaux de Google Cloud. L’équipe a utilisé OpenCode avec Gemini 3.8 Flash sur des tâches de Terminal-Bench 2.0. Les premiers résultats avec une compétence de base étaient peu concluants : l’agent passait environ deux tiers de ses tentatives, mais le résultat restait similaire sans la compétence.

Pour améliorer cela, ils ont intégré AlphaEvolve. Ce système optimise les instructions de l’agent de manière itérative : Gemini propose une nouvelle version d’une instruction, un évaluateur (un agent réel) la note, et le système conserve la version la mieux notée. Cette boucle a permis d’observer des améliorations de 5 % après quelques itérations. Les chercheurs ont aussi noté que la cause principale des échecs lors de ces longues recherches était le temps d’exécution.

Les avancées en cybersécurité des modèles récents

Parallèlement à cette quête d’autonomie fonctionnelle, la capacité des modèles à sécuriser des systèmes est un axe majeur. Google a récemment lancé Gemini 3.8 Flash et sa variante spécialisée, Gemini 3.8 Flash Cyber. Ce dernier est conçu pour la détection de vulnérabilités et le patchage automatisé, et il est accessible aux défenseurs accrédités via le programme Fairwind.

Sur le banc d’essai CyberGym, Gemini 3.8 Flash Cyber montre une performance de niveau frontière dans la découverte autonome de vulnérabilités, surpassant à la fois 3.5 Flash Cyber et des modèles plus grands. Dans un test interne couvrant vingt langages de programmation, le modèle a atteint un taux de succès supérieur à 70 %. L’impact est concret : l’équipe Chrome Security de Google a constaté que 3.8 Flash Cyber produisait deux fois et demie plus de correctifs valides pour les vulnérabilités dans Chrome que les modèles commerciaux les plus importants.

Ces développements, qu’il s’agisse de mesurer la robustesse d’un agent sur des tâches complexes via Terminal-Bench, ou d’affiner l’intelligence de ces agents par optimisation de compétences, montrent une convergence vers des systèmes capables de gérer des problèmes techniques de plus en plus granulaires et critiques.

Sources

• GitHub – harbor-framework/terminal-bench-2, github.com
• Introducing Gemini 3.8 Flash and 3.8 Flash Cyber, blog.google
• Building an agent skill optimizer with AlphaEvolve, Harbor and Gemini 4 Argon, Google Cloud, 5 novembre 2026

Crédits photo

• Image en une : Rapid Deployment Hybrid Microgrid (RDHM) Demonstrates Resilient Expeditionary Energy During…, par U.S. Army HQ-USARL by [null Courtesy], Public domain, via Wikimedia Commons (recadrée)