# CWE-bench v2 : un nouveau test pour les capacités cyber des IA

_Publié le 4 novembre 2026 — https://ip73.fr/2026/11/04/cwe-bench-v2-un-nouveau-test-pour-les-capacites-cyber-des-ia/_

Collinear AI a rendu disponible CWE-bench v2, un ensemble de cent tâches conçu pour sonder les capacités cyber des modèles d'IA de pointe. Selon l'annonce faite sur github.com, l'objectif est de voir si un agent peut identifier et réparer une faiblesse de sécurité dans un dépôt open source sans casser les fonctionnalités existantes. Le système de notation est entièrement automatisé, ce qui garantit que les résultats sont déterministes et reproductibles sans coût supplémentaire.

Ce benchmark ne se contente pas de chercher des schémas connus. Il exige que le modèle comprenne les multiples surfaces de faiblesse qu'un attaquant pourrait exploiter. Les 100 tâches couvrent 91 différents CWE (Common Weakness Enumeration), ce qui représente une couverture assez étendue pour juger de la profondeur de la compréhension du modèle.

Pour assurer la qualité de ce corpus, des vérifications méthodiques ont été menées. Chaque tâche a été examinée manuellement pour s'assurer que l'instruction ressemble à une demande réaliste et non à un simple cas d'évaluation. De plus, les vérificateurs sont paramétrés pour tester le comportement correct plutôt que la structure d'un correctif précis, et ils rejettent les solutions mémorisées, comme un patch connu en amont.

## Les performances des modèles face aux failles

Les premières évaluations sont déjà publiées sur le Hub. Sur les onze modèles testés, Gemini 4 Argon mène avec 67,8 % en pass@1 et 81,0 % en pass@4, juste devant Claude Opus 5.5 (67,3 % en pass@1 et 78,0 % en pass@4). Il est à noter que 95 tâches sont résolues par au moins un modèle, signe que les tâches sont solubles. Néanmoins, même le leader échoue à 19 % du jeu de tâches à chaque tentative, montrant que la partie la plus complexe reste loin d'être maîtrisée.

La question du coût est également soulevée. DeepSeek V4.1 Flash, Claude Opus 5.5 et Gemini 4 Argon forment ce que l'on nomme la « frontière de Pareto ». DeepSeek atteint 57,0 % en pass@1 pour seulement 0,04 $ par exécution. Opus ajoute dix points à ce score pour 1,83 $, et Gemini prend l'avantage à 3,92 $ par exécution.

## Méthodologie et utilisation du benchmark

Chaque tâche est un environnement Harbor auto-contenu, c'est-à-dire qu'elle inclut un environnement Dockerisé, une instruction et un vérificateur déterministe. Cela permet de lancer l'intégralité du benchmark directement depuis le dépôt Hugging Face en utilisant l'outil Harbor. La commande permet d'exécuter l'agent avec un modèle donné, en spécifiant quatre tentatives par tâche pour obtenir la moyenne sur les quatre cents essais.

Parallèlement à l'évaluation, ce jeu de tâches est tagué comme un environnement d'apprentissage par renforcement (rl-environment). Cela ouvre une autre piste : ces mêmes environnements et vérificateurs peuvent servir à entraîner des agents défensifs, au-delà de la simple évaluation. Si l'on souhaite tester le jeu de tâches qui n'a jamais été vu par aucun modèle, il faut contacter l'équipe via cyber@collinear.ai.

## Sources

- [blog/cwe-bench.md at main · huggingface/blog](https://github.com/huggingface/blog/blob/main/cwe-bench.md), github.com
- [CWE-bench v2: More coverage, quality, and transparency](https://huggingface.co/blog/cwe-bench), Hugging Face, 3 novembre 2026