Des chercheurs du Massachusetts Institute of Technology (MIT) ont mis au point une technique permettant aux grands modèles de langage (LLM) d’inspecter et de modifier directement les poids des réseaux neuronaux, sans passer par les processus d’entraînement conventionnels comme la descente de gradient. Cette approche, nommée Weight-Space Programming, ouvre une perspective nouvelle sur l’optimisation et l’audit des modèles d’IA.

L’idée est que les LLM, lorsqu’ils sont sollicités en langage naturel, deviennent étonnamment doués pour déchiffrer ce que représente une structure mathématique complexe. En utilisant GPT-6 Astra, les équipes ont prouvé qu’il est possible de lire les capacités d’un réseau neuronaux uniquement à partir de la lecture brute de ses poids, sans jamais avoir à exécuter le modèle ou à obtenir un retour d’environnement.

Pour valider cette capacité, les chercheurs ont soumis les poids de quatre réseaux entraînés par PPO à Astra. Sans être informés de la tâche, le modèle a réussi à identifier quel jeu informatique chaque réseau avait appris à jouer, qu’il s’agisse de Breakout ou de Pong. Cela suggère que l’information fonctionnelle est encodée de manière lisible dans les valeurs numériques elles-mêmes.

Décodage et correction de défauts en langage naturel

L’application va au-delà de la simple lecture. Dans un cas concret, Astra a été chargé d’améliorer les capacités mathématiques d’un modèle Qwen3.5-0.8B, sans lui fournir de gradient. Le modèle initial présentait des boucles de raisonnement, un défaut que sa propre fiche d’identité mentionnait. En éditant seulement 0,016 % des poids, Astra a réussi à faire passer le score du modèle sur le benchmark MATH-500 de 7,9 % à 48,1 %.

De plus, cette correction a eu un effet généralisé : le score sur IFEval, qui mesure le suivi des instructions, a triplé. Les chercheurs ont noté que cette correction a permis au modèle de généraliser « out of the box » au suivi d’instructions.

Créer et optimiser sans boucles d’apprentissage

Les expérimentations ne se sont pas limitées à l’amélioration. Les chercheurs ont également testé la capacité de l’LLM à créer des réseaux neuronaux à partir de zéro. En fournissant à Astra les règles et le code source de trois jeux MinAtar (Breakout, Seaquest et Asterix), le modèle a généré les poids des réseaux sans avoir accès à des données d’entraînement, à des fonctions de perte ou à des gradients.

Les réseaux générés par Astra ont surpassé les réseaux entraînés par PPO après 100 millions d’étapes d’entraînement dans ces trois jeux. Par exemple, pour Breakout, le réseau d’Astra a obtenu un score de 517, contre 15,8 pour un réseau PPO entraîné pendant 100 millions d’étapes.

Sur le jeu de Go, Astra a généré un réseau avec près d’un million et demi de poids. Sans passer par de passes avant, ce réseau a remporté plus de la moitié de ses parties contre deux réseaux PPO plus petits. Lorsque l’on a autorisé 50 passes avant pour examiner sa performance, le réseau généré battait un réseau PPO de taille équivalente entraîné sur 20 millions de parties.

Sources

• Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights, rikiyat.github.io
• MIT Researchers Show LLMs Can Read and Edit Neural Network Weights Without Retraining, Analytics India Magazine, 3 novembre 2026