# NVIDIA Cosmos 3 : quatre modèles pour simulation physique interactive

_Publié le 5 novembre 2026 — https://ip73.fr/2026/11/05/nvidia-cosmos-3-quatre-modeles-pour-simulation-physique-interactive/_

Quatre nouveaux checkpoints viennent enrichir la plateforme Cosmos de NVIDIA, offrant des capacités de simulation de mondes physiques réactifs. Ces modèles, issus de la famille Cosmos 3, permettent désormais de générer des observations vidéo synchronisées, que ce soit à partir de commandes de caméra, d'actions robotiques ou d'instructions textuelles.

L'annonce de research.nvidia.com présente des outils très spécifiques pour les chercheurs en intelligence artificielle physique. Par exemple, Cosmos3-Nano-Sim-Bimanual est conçu pour prédire l'évolution visuelle en fonction des gestes d'un bras robotique, une fonctionnalité essentielle pour les applications robotiques complexes. Il permet de voir comment l'environnement réagit à une action manuelle ou pilotée.

Pour le domaine de la conduite autonome, les choses se précisent avec Cosmos3-Nano-Transfer-Auto. Ce modèle agit comme un générateur de données synthétiques bidirectionnel, capable de créer des séquences vidéo synchronisées sur jusqu'à onze vues de caméra, incluant des objectifs grand angle. Il est possible de guider l'apparence de la scène par un prompt textuel, tout en laissant le simulateur maintenir l'état physique réel, ce qui est un compromis intéressant entre le contrôle sémantique et la physique.

L'aspect géométrique et visuel est renforcé. Le modèle permet d'intégrer des contrôles de profondeur, de segmentation, de contours ou de flou pour obtenir des observations RGB détaillées. Le contrôle spatial guide le mouvement du robot et la disposition de la scène, tandis que le langage modifie l'apparence. D'après les détails techniques, les performances de ce modèle surpassent celles de DreamDojo 2B et 14B sur les benchmarks AgiBot-World et AgiBot-GEAR, affichant un F1 des contours 59,2 % plus élevé et une erreur de profondeur 26,5 % inférieure par rapport à la référence Cosmos 3 GA.

## Des chemins variés pour l'intégration en simulation

La famille Cosmos 3 propose quatre façons d'utiliser ces capacités. Cosmos3-Nano-Sim-Auto est la variante causalement distillée de Transfer-Auto, optimisée pour le streaming rapide. Au lieu de générer de longs clips d'un coup, ce modèle produit de petits morceaux successifs de vidéo et de LiDAR en utilisant l'historique généré et les commandes de conduite mises à jour, ce qui est indispensable pour des interactions longues et en temps réel.

En parallèle, Cosmos3-Nano-Sim-Transfer offre une approche différente : il transforme les contrôles d'un simulateur physique, couplés à un prompt textuel, en observations couleur photoréalistes. Là où les autres modèles se concentrent sur la génération à partir d'actions ou de contrôles, celui-ci se sert du simulateur comme source de vérité physique, puis applique un filtre esthétique via le langage. On voit dans ce cadre que l'idée est de séparer la simulation physique brute de la représentation sensorielle finale.

## Adapter les modèles au terrain de jeu de chacun

NVIDIA ne propose pas ces modèles comme des boîtes noires figées. L'objectif affiché est de fournir une fondation ouverte pour que les chercheurs puissent bâtir dessus. Le Framework Cosmos, plateforme dont fait partie cette annonce, permet aux développeurs d'adapter ces checkpoints. Si vous avez un nouveau rig de caméra ou un domaine d'application inédit, vous pouvez reprendre le processus de post-entraînement. L'adaptation permet de faire en sorte que le modèle corresponde à votre configuration matérielle spécifique.

Les détails d'implémentation, accessibles via le framework, indiquent qu'on peut utiliser des commandes de ligne de commande spécifiques, en ciblant des résolutions comme 720p, tout en ajustant des paramètres de guidage et de pas. Il est précisé, par exemple, que le modèle est optimisé pour un rig de caméra de référence, et qu'un usage sur un matériel différent pourrait entraîner une dégradation de la qualité, nécessitant des ajustements en post-entraînement.

Le chemin d'évolution est clair : après avoir adapté un modèle à son propre environnement, il peut être utilisé pour la génération de données hors ligne, ou subir une distillation causale pour devenir une variante de streaming rapide comme Sim-Auto. Il reste cependant une question majeure à se poser quant à la validation de ces systèmes : comment mesurer concrètement si ces modèles soutiennent fidèlement l'apprentissage des politiques autonomes dans des conditions de terrain variées ?

Ces checkpoints sont publiés sous OpenMDW1.1, autorisant à la fois l'usage commercial et non commercial.

## Sources

- [Interactive World Simulation with Cosmos for Physical AI](https://research.nvidia.com/labs/cosmos-lab/cosmos-simulation/), research.nvidia.com
- [cosmos-framework/.agents/skills/cosmos3-nano-transfer-auto/inference/SKILL.md at main · NVIDIA/cosmos-framework](https://github.com/NVIDIA/cosmos-framework/blob/main/.agents/skills/cosmos3-nano-transfer-auto/inference/SKILL.md), github.com
- [New NVIDIA Cosmos 3 Open Models for Interactive World Simulation](https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation), Hugging Face, 5 novembre 2026
- [Build World Models for Interactive Simulation with NVIDIA Cosmos](https://developer.nvidia.com/blog/build-world-models-for-interactive-simulation-with-nvidia-cosmos/), NVIDIA, 2 novembre 2026

## Crédits photo

- Image en une : [KEFLAVIK, Iceland– An Explosive Ordnance](https://www.rawpixel.com/image/3393666/free-photo-image-c6f-cc0-commander-task-force), par auteur inconnu, [CC0](https://creativecommons.org/publicdomain/zero/1.0/), via Rawpixel via Openverse (recadrée)
- Image dans l’article : [KEFLAVIK, Iceland– An Explosive Ordnance](https://www.rawpixel.com/image/3393669/free-photo-image-armored-army-c6f), par auteur inconnu, [CC0](https://creativecommons.org/publicdomain/zero/1.0/), via Rawpixel via Openverse (recadrée)