REINFORCE Zero permet désormais un apprentissage par renforcement asynchrone stable en alignant les noyaux et en utilisant un échantillonnage d’importance sans troncature au niveau du jeton. Cette méthode, mise à disposition sur GitHub, corrige les désaccords numériques entre la phase d’inférence (rollout) et celle de l’optimisation (learner), ce qui était auparavant un obstacle majeur à l’extension des agents IA.

Ce problème de divergence, fréquent en RL asynchrone, provient de deux sources distinctes. Premièrement, le « weight lag » (décalage des poids), une différence progressive due au fait que les échantillons sont générés avec des poids plus anciens que ceux utilisés pour l’entraînement. Deuxièmement, il y a le « kernel mismatch » (désalignement des noyaux), où l’inférence et l’entraînement calculent des valeurs différentes même avec les mêmes poids.

L’approche standard pour gérer le décalage des poids repose sur l’échantillonnage d’importance (IS), qui recalcule la contribution de chaque jeton en fonction du ratio entre la probabilité actuelle et la probabilité enregistrée lors de la génération. Le hic, c’est que si le désalignement des noyaux est présent, les fluctuations induites par ce mismatch peuvent créer des pics extrêmes dans le diagnostic IS. Les données montrent que, avec des noyaux standards, le ratio pic-à-médiane du diagnostic $D_3$ atteint 442,54 fois celui observé avec les noyaux alignés.

En appliquant l’alignement des noyaux, tel que décrit dans les travaux de NVIDIA Research et Inferact, ce pic chute drastiquement à 1,50. Ce faisant, le désalignement est neutralisé, laissant au simple IS la tâche de corriger le décalage des poids de manière fluide et contrôlée.

Ce qui change pour les systèmes d’apprentissage

Ce mécanisme permet non seulement de maintenir la stabilité de l’apprentissage sur des dizaines de milliers de mises à jour de politique – le système tient bon sur 20 000 mises à jour – mais il booste aussi le débit. Les résultats montrent un gain de 2,40 fois en termes d’heures de pas d’entraînement par rapport à une configuration synchrone utilisant TII (Trainer–inference invariance), tout en conservant une qualité de raisonnement comparable.

Les performances sont validées sur des tâches variées. Pour le raisonnement mathématique avec le modèle DeepSeek-R1-Distill-Qwen-1.5B, l’entraînement asynchrone parvient à maintenir un taux de réussite macro de 51,10 % après 20 000 mises à jour. En ce qui concerne l’utilisation d’outils par un agent, avec Qwen3-30B-A3B, le taux de réussite sur quatre benchmarks passe de 31,29 % à 71,55 % après seulement 3 000 mises à jour.

Mise en œuvre et applications concrètes

Le dépôt Inferact/zero-mismatch-rl fournit une compétence exécutable (« agent-executable workflow ») permettant de forcer l’alignement des noyaux, assurant que les probabilités de jetons calculées par le moteur de rollout (comme vLLM) et le trainer sont identiques, jet après jet. Cette approche est applicable à plusieurs architectures, comme l’ont démontré les tests sur DeepSeek-V4-Flash ou Kimi-K3.1, avec des preuves de « zéro mismatch » sur des accélérations matérielles allant jusqu’au AMD MI355X.

En outre, l’article de référence précise que l’alignement des noyaux permet d’éviter les mécanismes de rejet d’échantillons (sample-rejection gates) que les systèmes plus anciens devaient utiliser pour stabiliser l’entraînement. C’est une différence technique significative : retirer le bruit de l’alignement permet à l’IS de fonctionner pleinement, sans avoir à sacrifier des données.

On doit surveiller comment cette robustesse se transpose dans des scénarios de déploiement réels à grande échelle, où la complexité de la parallélisation et le transfert de poids entre les systèmes d’entraînement et d’inférence (le fameux refit) restent des défis majeurs, même si des solutions existent pour optimiser ce transfert.

Sources

• GitHub – hijkzzz/REINFORCE-Zero, github.com
• GitHub – Inferact/zero-mismatch-rl: Bitwise-identical token probabilities between RL rollout (vLLM) and training, github.com
• Zero Mismatch, Simple Async RL: REINFORCE Zero, DeepSeek-V4.1 and Kimi K3.1, vLLM, 6 novembre 2026
• Accelerating Reinforcement Learning Weight Refit with the Reshard Collective, NVIDIA, 6 novembre 2026