StateBench, le nouveau benchmark de l’AllenAI, propose une grille d’analyse pour déterminer si les grands modèles de langage parviennent à suivre l’évolution des informations dans des textes longs. Ce test ne se contente pas de vérifier la présence d’une information, mais évalue la capacité à gérer une chaîne d’opérations complexes sur l’état d’une entité.

Le benchmark décompose les problèmes de suivi d’état en quatre niveaux de difficulté, directement corrélés à des opérations d’affectation de variables. On passe de l’affectation immuable, où une valeur est fixée et ne change jamais (le niveau R-trivial, évoquant une date de naissance), à l’affectation par référence. Cette dernière, qui implique qu’une variable prend la valeur d’une autre, comme dans un jeu de cartes où les positions des cartes sont échangées, représente le sommet de la complexité, illustrée par le problème S₅.

Les chercheurs ont formalisé ces distinctions en s’appuyant sur la théorie de Krohn–Rhodes, une branche de l’algèbre qui permet de décomposer ces problèmes de suivi d’état en primitives atomiques. Pour comparer ces niveaux équitablement, l’outil génère trois versions plus simples à partir d’une séquence initiale d’affectations, garantissant que tous les problèmes partagent le même nombre de variables et le même séquencement des opérations.

Les limites théoriques des architectures actuelles

L’attente initiale était que les architectures récurrentes ou hybrides, comme Gated DeltaNet, pourraient surpasser les Transformers en matière de suivi d’état. En effet, les limites théoriques des Transformers sur les cas difficiles de dépendance longue étaient bien connues. Pourtant, une analyse récente publiée sur arXiv conteste cette supériorité supposée des modèles de type SSM (State-Space Models). Les auteurs démontrent que la puissance expressive de modèles comme S4 ou Mamba est étonnamment similaire à celle des Transformers, se situant dans la classe $\mathsf{TC}^{0}$.

En d’autres termes, ces SSMs ne parviennent pas à résoudre des problèmes intrinsèquement séquentiels, à l’image de la composition de permutations, ce que les réseaux récurrents purs peuvent faire avec une seule couche. Cela suggère que l’idée d’un « état » véritablement maintenu dans les SSMs courants relève, du moins dans ce cadre d’analyse, de l’illusion.

Les performances des modèles face aux niveaux de complexité

Les tests menés avec des modèles ouverts, incluant Olmo 3 (un Transformer) et des variantes hybrides intégrant Gated DeltaNet, montrent des tendances claires. Presque tous les modèles se comportent bien sur les problèmes R-trivial. Cependant, dès que l’on monte au niveau Aperiodic, la précision diminue à mesure que la longueur des entrées augmente. Sur les cas les plus complexes, les modèles frontières, tels que Gemini 3.8 Flash, Claude Opus 5.5 et GPT-6 Sol et Luna, montrent également des signes de défaillance lorsque les entrées s’allongent.

Sources

• GitHub – allenai/state-bench, github.com
• The Illusion of State in State-Space Models, arxiv.org
• StateBench: Testing how language models track state changes over long documents, Hugging Face, 3 novembre 2026
• StateBench: Testing how language models track state changes over long documents, Ai2, 3 novembre 2026