Les chercheurs de l’MIT, Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, ont formalisé une technique baptisée Weight-Space Programming. Celle-ci permet aux grands modèles de langage (LLM) d’interpréter et de modifier directement les poids d’un réseau neuronal, en se basant uniquement sur une description textuelle du modèle, sans recourir aux méthodes d’entraînement traditionnelles comme la descente de gradient. Pour ces démonstrations, ils ont utilisé le modèle GPT-6 Astra d’OpenAI.

L’idée maîtresse est que ces modèles de pointe peuvent comprendre ce qu’un réseau a appris simplement en lisant ses valeurs flottantes. Les travaux, présentés dans un billet de blog du 2 novembre, ont validé cette capacité à travers huit expériences. Ces tests allaient de l’identification de jeux vidéo à l’amélioration de la logique mathématique.

Pour vérifier cette compréhension, les chercheurs ont soumis à GPT-6 Astra les poids de quatre réseaux entraînés par PPO pour jouer à des jeux classiques : Breakout, Pong, Pac-Man et Freeway. Le modèle, privé de tout outil externe, a réussi à identifier correctement à quel jeu correspondait chaque ensemble de poids en se basant uniquement sur les nombres fournis.

Améliorer les modèles sans réentraînement

L’aspect le plus frappant concerne l’amélioration de modèles existants. Une étude s’est concentrée sur Qwen3.5-0.8B. Au lieu de le ré-entraîner, GPT-6 Astra a détecté un défaut dans ses poids qui causait des boucles de raisonnement. En modifiant seulement 0,016 % de ces poids, le modèle a vu ses performances augmenter. Selon les analyses, le score sur le benchmark MATH-500 est passé de 7,9 % à 48,1 %, et son score IFEval a triplé.

Ce processus, où le LLM utilise son raisonnement pour déterminer ce qu’un composant du réseau devrait faire et ajuste les poids en conséquence, est ce que les auteurs appellent Weight-Space Programming. Ces résultats dépassent ce que l’on attendrait de systèmes conventionnels.

La portée de l’intervention des LLM

La recherche ne s’est pas limitée aux modèles existants. Une autre série d’expériences a montré que les LLM pouvaient écrire des réseaux entiers à partir de zéro, comme pour Breakout, Seaquest ou Asterix. Dans d’autres cas, ils ont utilisé un bac à sable Python pour effectuer des opérations, notamment pour améliorer Qwen3.5-0.8B en mathématiques. Même dans ces scénarios impliquant des outils, la compréhension des poids restait au cœur du processus.

Cependant, des chercheurs indépendants ont nuancé cette présentation. Matthew Honnibal, auteur de spaCy, a qualifié l’approche de « trompeuse pour avoir confondu les deux » aspects, tandis que Sean Goedecke a déconstruit l’exemple d’amélioration de Qwen3.5-0.8B, estimant que cela suivait les étapes d’un chercheur en apprentissage automatique humain.

Sources

• GitHub – RikiyaT/lm_understand-logs: Complete logs of the experiments in the blog post ‘LLMs can understand and write neural network…, github.com
• GitHub – simonw/llm-openrouter: LLM plugin for models hosted by OpenRouter, github.com
• Qwen 3.8 27B on my laptop can interpret model weights, too, Simon Willison, 3 novembre 2026
• MIT Researchers Show LLMs Can Read and Edit Neural Network Weights Without Retraining, Analytics India Magazine, 3 novembre 2026
• Cohere’s Qwen Story: Looks More Like Model Jaggedness, Check Point Research, 29 octobre 2026