La bibliothèque verl, annoncée par github.com, propose un cadre de travail open source pour l’entraînement des modèles de langage à grande échelle en utilisant le renforcement par apprentissage (RL). Elle est conçue pour être à la fois efficace et prête pour la production, et elle est l’équivalent open source du papier de recherche HybridFlow. L’objectif affiché est de simplifier l’implémentation de dataflows complexes, permettant, par exemple, de construire des algorithmes comme GRPO ou PPO en quelques lignes de code.

Ce qui frappe, c’est l’architecture du programme, baptisée « hybrid-controller ». Elle permet une représentation flexible et une exécution optimisée des flux de données post-entraînement. En plus de cette agilité algorithmique, verl se veut très adaptable. Elle offre une intégration modulaire avec les infrastructures LLM existantes, qu’il s’agisse de FSDP, de Megatron-LM, de vLLM ou de SGLang. De plus, la gestion des dispositifs est souple ; l’outil supporte un mappage sur différentes configurations de GPU pour optimiser l’usage des ressources dans des clusters de tailles variées.

Le rythme de développement semble soutenu, comme en témoignent les ajouts récents. Selon github.com, des composants spécifiques comme uni-agent, un cadre unifié pour construire et entraîner des agents LLM à l’échelle, ont été rendus publics en mai 2026. On peut également noter l’arrivée de RL-Insight en juillet 2026, qui apporte une capacité d’observabilité en ligne pour le RL, reliant les métriques de l’entraînement aux traces d’état et aux tableaux de bord de service.

L’efficacité matérielle et la cohérence des systèmes

Cette quête de performance ne s’arrête pas aux algorithmes. L’efficacité matérielle est un point central. verl intègre une gestion de la répartition d’acteur (« actor model resharding ») via son « 3D-HybridEngine ». Cela permet d’éviter la redondance mémoire et de diminuer significativement les surcoûts de communication lors des transitions entre les phases d’entraînement et de génération. Les démonstrations passées montrent déjà cette capacité ; par exemple, Mind Lab a utilisé verl avec Megatron-bridge pour entraîner un modèle GRPO Lora sur 64 H800 en 2025.

L’idée d’une cohérence parfaite entre l’entraînement et l’inférence est une problématique qui existe déjà. Des travaux parallèles, comme ceux menés par Inferact, visent à garantir des probabilités de jeton « bitwise-identical » entre le moteur de déploiement RL (utilisant vLLM) et l’entraîneur. Ils ont validé cela sur des modèles comme DeepSeek-V4-Flash avec Megatron-LM et verl, atteignant un KL nul sur 100 étapes RL.

Les développements à venir

La feuille de route de verl est dense, pointant vers des applications toujours plus spécifiques. En août 2026, deux projets majeurs sont attendus : verl-vla v0.1.0, un cadre unifié pour la collecte de données en boucle humaine (« human-in-the-loop ») touchant aux robots réels et au cloud-edge, et VeRL-Tinker. Parallèlement, VeRL-Omni v0.2.0 est prévu pour accélérer l’entraînement en diffusion RL pour des modèles multimodaux comme Qwen3-Omni.

En regardant le contexte plus large, d’autres acteurs progressent sur la performance de l’inférence. vLLM, par exemple, a récemment rendu disponible le support pour le modèle Kimi K3.1 Pro. Ce modèle, doté d’une attention sparse (DSA) sur ses 24 couches, améliore l’efficacité en lecture mémoire, le temps de première requête étant plus rapide grâce à des techniques comme le token-sharded prefill attention. Ce progrès illustre la tension constante entre la complexité algorithmique et la latence en production.

Sources

• GitHub – verl-project/verl: verl/HybridFlow: A Flexible and Efficient RL Post-Training Framework, github.com
• GitHub – Inferact/zero-mismatch-rl: Bitwise-identical token probabilities between RL rollout (vLLM) and training, github.com
• vLLM Delivers Day-0 Support for Kimi K3.1 Pro, vLLM, 4 novembre 2026

Crédits photo

• Image en une : IBM Power Systems E870 (2), par Open Grid Scheduler / Grid Engine, CC0, via Wikimedia Commons (recadrée)