AlpaGym est un cadre d’apprentissage par renforcement conçu pour former des politiques de conduite entièrement autonomes. Ce système permet à une politique d’apprendre des conséquences réelles de ses propres manœuvres, au lieu de se fier uniquement à des données de vérité terrain préenregistrées. Il s’articule autour de deux composants majeurs : AlpaSim, qui fournit l’environnement de simulation en boucle fermée, et Cosmos-RL, qui orchestre la diffusion et l’entraînement distribués.

Le rôle d’AlpaGym est de connecter ces éléments à une politique de conduite donnée, tout en maintenant des interfaces suffisamment simples pour permettre le remplacement de n’importe quel composant du système. Bien que ce framework soit encore en développement initial, il est présenté comme un outil actif, supportant actuellement le modèle Alpamayo 1.5 qui dispose de 10 milliards de paramètres.

Architecture du cycle d’entraînement

Le processus est décomposé en deux phases principales : le host (le plan de contrôle) et le runtime (l’exécution sur GPU). Lorsqu’une exécution est lancée, Cosmos-RL demande des séquences de simulation au runtime. Ce dernier pilote des épisodes dans AlpaSim via gRPC, accumule les observations, attribue des scores aux épisodes terminés, et renvoie les artefacts au trainer de Cosmos-RL pour qu’il effectue une étape d’entraînement GRPO.

Le host s’occupe de compiler la configuration avec Hydra, de résoudre et mettre en cache le checkout d’AlpaSim, puis de lancer le lanceur Wizard d’AlpaSim. Le runtime, quant à lui, opère à l’intérieur du conteneur GPU. Là, le backend de déploiement récupère les scènes et exécute les épisodes contre AlpaSim. Chaque tic, AlpaSim transmet des observations (caméra, ego, itinéraire) au serveur egodriver gRPC, la politique fournit une trajectoire, AlpaSim avance le véhicule, et le cycle recommence. Les poids mis à jour par le trainer reviennent ensuite synchronisés aux travailleurs de déploiement.

Vers l’embarqué et l’efficacité

Ce travail s’inscrit dans une lignée d’optimisations pour l’embarqué. NVIDIA a par exemple présenté Alpamayo 2 Edge, un modèle VLA adaptatif conçu pour l’opération en temps réel sur le DRIVE AGX Thor. Ce modèle utilise un backbone de raisonnement Nemotron de 2 milliards de paramètres et intègre le speculative decoding via DFlash2 pour accélérer le raisonnement en ligne, sans sacrifier la qualité.

L’utilisation de méthodes d’évaluation calibrées par l’humain, comme AlpaJudge, est également centrale dans ce type de développement. Pour Alpamayo 2 Edge, cet outil permet d’évaluer les traces de raisonnement, de sélectionner des données d’entraînement plus pertinentes et de fournir des récompenses pour le post-entraînement. Ces systèmes visent à garantir que, même lorsque la taille du modèle est réduite pour satisfaire les contraintes de calcul embarqué, la qualité du comportement de conduite ne soit pas compromise.

En parallèle, d’autres avancées comme DFlash permettent d’accélérer le décodage spéculatif dans les modèles de langage généralistes, que ce soit en backend Transformers ou MLX, illustrant une tendance générale vers l’efficacité computationnelle. Les travaux actuels sur AlpaGym se concentrent sur l’amélioration du débit et la prise en charge de plus de modèles et d’algorithmes d’entraînement.

Sources

• GitHub – NVlabs/alpagym: AlpaGym is a reinforcement-learning framework for end-to-end autonomous-driving policies., github.com
• GitHub – z-lab/dflash: DFlash: Block Diffusion for Flash Speculative Decoding, github.com
• Running AV Reasoning Models Within Onboard Compute and Latency Limits, NVIDIA, 10 novembre 2026