# Archipelago : un système pour évaluer les agents IA sur des environnements réels

_Publié le 3 novembre 2026 — https://ip73.fr/2026/11/03/archipelago-un-systeme-pour-evaluer-les-agents-ia-sur-des/_

Archipelago, le système développé par Mercor-Intelligence, permet désormais de faire courir et d'évaluer des agents d'intelligence artificielle en les confrontant à des applications MCP (Managed Compute Platform). Ce framework, accessible via github.com, se déploie autour de trois éléments fondamentaux : un environnement « headless », un lanceur d'agents extensible, et un module de notation par comparaison d'instantanés.

L'environnement lui-même, conçu pour fonctionner en conteneur Docker, agit comme une passerelle de gestion. Il permet aux agents LLM de se connecter à un serveur MCP exposé. Ce composant gère la population de données, tirant l'information depuis un stockage compatible S3, et il est en charge de créer des archives tar.gz de l'état du système, qu'il peut soit transmettre, soit téléverser vers S3. On retrouve des points d'accès spécifiques, comme `/data/snapshot` pour la création d'instantanés.

Le lanceur d'agents prend en charge la gestion des sandboxes environnementales. Grâce à une architecture basée sur un registre, il supporte plusieurs implémentations d'agents configurables, permettant, par exemple, d'utiliser des agents comme `react_toolbelt_agent`. L'installation demande de disposer de Docker Desktop, de Python 3.13, de UV, et bien sûr, d'une clé d'API pour un LLM tel qu'Anthropic, OpenAI ou Gemini.

## Tester les agents dans des scénarios réels

Ce nouvel outil s'inscrit dans une ambition plus large de tester les capacités des modèles de pointe au-delà des exercices théoriques. En effet, Google a récemment présenté Physical-Engineering’s Last Exam (PLE), un benchmark qui évalue la capacité des agents à accomplir des tâches d'ingénierie concrètes – structurelle, civile, électrique ou mécanique.

PLE ne se contente pas de poser des questions de manuel ; il plonge l'agent dans un dossier de projet conteneurisé, contenant parfois plus de 61 fichiers, incluant des PDF, des feuilles de calcul et des dessins CAO. L'objectif est de produire des livrables prêts à être révisés par un ingénieur agréé. D'après Google Cloud, les résultats sont encore loin d'être satisfaisants : tous les modèles de pointe testés ont obtenu un score moyen inférieur à 50 % sur leur jeu de données privé.

## Convergence entre simulation et performance

Ce qui est intéressant, c'est la convergence des deux projets. Archipelago offre le cadre technique pour exécuter des agents contre des environnements complexes, un besoin qui rejoint directement la nature des tâches PLE. Dans le cadre d'Archipelago, l'utilisateur peut choisir de travailler sur des tâches issues du jeu de données de benchmark HuggingFace (Option A, avec 480 tâches de services professionnels), ou opter pour un exemple minimaliste (Option B, trouver une image de gorille dans un système de fichiers). Les deux chemins aboutissent à la même séquence : démarrage du conteneur, population de l'environnement, exécution de l'agent, enregistrement de l'état final, puis exécution de la notation.

Le système est particulièrement robuste, car il est conçu pour être entièrement conteneurisé. Les détails techniques de l'environnement exposent une passerelle MCP « hot-swappable », permettant une reconfiguration dynamique des outils sans interrompre le processus. L'équipe de Mercor-Intelligence a fourni des exemples pour démarrer, comme lancer une tâche via `./run.sh` après avoir configuré les clés d'API.

Le chemin vers une IA capable de gérer des projets d'ingénierie complets, comme ceux proposés par PLE, passe par ce genre de bac à sable industriel. Archipelago fournit l'infrastructure d'orchestration, tandis que PLE fournit la cible de performance exigeante. Il faudra surveiller si cette convergence permettra aux prochains modèles de dépasser le seuil des 50 % sur ces tâches réelles.

## Sources

- [GitHub - Mercor-Intelligence/archipelago: Harness for running and evaluating AI agents against RL environments](https://github.com/Mercor-Intelligence/archipelago), github.com
- [GitHub - google-research/ple: Physical-Engineering’s Last Exam](https://github.com/google-research/ple), github.com
- [Introducing Physical-Engineering’s Last Exam for agents](https://cloud.google.com/blog/products/ai-machine-learning/introducing-physical-engineerings-last-exam-for-agents/), Google Cloud, 3 novembre 2026