Illustration vectorielle épurée d'un poste de travail affichant des données multimodales complexes.

GitHub lance Cosmos-Framework pour les modèles de mondes physiques

Par Rédaction IP73 dans Intelligence artificielle le

NVIDIA a rendu public sur GitHub le Cosmos-Framework, un référentiel destiné à industrialiser la création de modèles de mondes pour l’IA physique. Ce cadre couvre l’intégralité du cycle de vie des modèles, de l’entraînement distribué à la mise en production en service. Il ne s’agit pas d’une simple bibliothèque, mais d’une suite d’outils conçue pour gérer des systèmes qui doivent simultanément traiter et générer langage, images, vidéo, audio et séquences d’action.

Le cœur de cette initiative est Cosmos3, une nouvelle famille de modèles omnimodaux bâtie sur une architecture Mixture-of-Transformers. Selon github.com, cette architecture permet de fusionner ce qui était auparavant séparé : les modèles de langage, les générateurs vidéo, les simulateurs de monde et les modèles d’action. L’objectif est d’unifier nativement les modalités critiques pour l’IA physique, permettant aux systèmes de comprendre et d’agir dans des environnements complexes.

En amont de cette structure, on trouve des éléments comme NVIDIA Alpamayo. Les recettes disponibles dans le dépôt NVlabs/alpamayo-recipes montrent comment utiliser cette puissance, par exemple pour entraîner des modèles de conduite autonome. Alpamayo 2 Super, par exemple, est un modèle de 34 milliards de paramètres qui utilise le socle Cosmos 3 pour générer des trajectoires de conduite accompagnées de traces de raisonnement (Chain-of-Causation). Cette transparence dans la prise de décision est une priorité pour les applications critiques.

Photographie nocturne d'une tablette affichant une simulation de conduite autonome sur une rue mouillée.

De l’entraînement à la politique d’action

Cosmos-Framework ne s’arrête pas à la formation initiale. Il propose des outils robustes pour l’optimisation post-entraînement. Le cadre supporte des pipelines de renforcement appris (RL) qui couvrent plusieurs méthodologies. On y trouve DPO pour l’optimisation des préférences hors ligne, GRPO pour l’optimisation en ligne, PPO, et OPD pour la distillation en ligne. De plus, ce cadre s’étend au-delà des propres recettes Cosmos3. Il intègre des capacités pour affiner des modèles basés sur Hugging Face, comme certains modèles Qwen.

Pour ceux qui veulent aller plus loin dans le monde simulé, les exemples montrent comment utiliser Cosmos3-Nano-Transfer-Auto pour générer synthétiquement des clips vidéo multi-vues. Ce processus permet, par exemple, de transformer une scène de jour en une nuit pluvieuse tout en conservant la structure de la route. Cela donne matière à réflexion sur la manière dont les modèles peuvent être préparés à des scénarios long-tail extrêmes.

Les chemins d’adaptation et de déploiement

L’adaptation est un point central. Les développeurs peuvent choisir entre un Supervised Fine-Tuning (SFT) classique ou des méthodes plus légères comme LoRA pour ajuster le modèle à leurs données spécifiques. Pour les scénarios de conduite, par exemple, le cadre permet de configurer des simulations en boucle fermée grâce à AlpaGym, où les politiques apprennent à partir des échecs rencontrés dans des simulations massivement parallèles. Les recettes de l’Alpamayo montrent qu’on peut affiner ces modèles avec des données réelles issues du Physical AI AV Dataset, qui couvre plus de 2 500 villes.

Enfin, une fois le modèle entraîné, le déploiement est géré par des microservices Cosmos NIM. Cela permet de servir les modèles avec accélération GPU via des API d’application. Que ce soit pour une inférence rapide en mode latence ou pour déployer une politique d’action, le cadre fournit les chemins d’accès nécessaires. Il faut surveiller comment les entreprises vont intégrer cette suite d’outils pour transformer les laboratoires de recherche en chaînes de production de systèmes d’IA physique.

Sources

Partager :FacebookXLinkedInBlueskyE-mail

Articles récents

Archives