Vue de dessus d'une table grise avec des composants électroniques miniatures, des câbles et un cahier de configuration.

Isaac Lab 3.0 : une architecture modulaire pour l’apprentissage robotique

La version 3.0 d’Isaac Lab est désormais disponible. Cette mise à jour pose les bases de la prochaine génération d’apprentissage robotique en introduisant une architecture qui sépare la logique de la tâche des outils de simulation. Selon l’annonce de github.com, cette nouvelle mouture permet à un même ensemble de fonctionnalités de s’adapter à différents moteurs physiques, méthodes de rendu ou systèmes de visualisation.

Le changement majeur réside dans l’adoption d’une API de tâche unique. On peut définir une action — par exemple, faire monter un bras — et ensuite choisir comment cette action est calculée : avec le moteur physique Newton, avec PhysX, ou un autre backend. Cette déconnexion est significative. Les composants, les capteurs et les scènes deviennent « backend-neutres », ce qui signifie que le développeur n’a pas besoin de réécrire sa logique de contrôle quand il change de moteur physique.

Newton, l’un des moteurs phares de cette version, est un backend natif Warp. Il gère plusieurs chemins de résolution, incluant MuJoCo-Warp, VBD et MPM. Cela permet à Isaac Lab de supporter à la fois des corps rigides, des éléments déformables et des particules sans être enfermé dans un seul moteur physique. C’est une avancée notable, surtout quand on pense à la complexité des objets réels, comme les câbles ou les tissus.

Gros plan macro d'un assemblage mécanique miniature de joint de préhenseur robotique en aluminium brossé.

Il existe maintenant des chemins d’exécution légers, appelés « kit-less », qui permettent de faire tourner des workflows sans lancer l’intégralité de l’environnement Isaac Sim. Si un projet n’a besoin que de la physique de Newton et d’une visualisation de base, on n’a plus besoin d’installer le stack complet, ce qui est un gain de temps et de ressources appréciable.

Cependant, quand la complexité augmente, l’accès au stack complet d’Isaac Sim reste disponible. Il intègre alors PhysX ou RTX, le pont ROS, les capacités de téléopération en réalité étendue (XR) ou l’outillage Kit. Il y a donc un choix clair : soit la légèreté de Newton, soit la puissance totale de l’environnement complet pour des scénarios très spécifiques.

L’émergence des agents et la simulation comme banc d’essai

Cette structuration dans la simulation fait écho à une tendance plus large dans la robotique : l’émergence des agents de codage. Bien que Isaac Lab se concentre sur l’infrastructure, d’autres travaux montrent comment les modèles de langage peuvent commencer à diriger ces systèmes complexes. Par exemple, une étude de Dexmate a montré que des agents comme Codex et Claude Code peuvent commencer à générer des procédures fonctionnelles pour des tâches robotiques, même s’ils peinent encore sur la robustesse et la sécurité en temps réel.

Ces agents, équipés d’outils limités, peuvent interpréter des images et adapter leur code après des échecs. Néanmoins, ces essais soulignent que pour que ça fonctionne en vrai, il faut un système intégré : le modèle IA, le planificateur, mais aussi des contrôleurs qui gèrent l’exécution, la vérification et surtout la sécurité immédiate.

NVIDIA, par ailleurs, pousse cette intégration avec des modèles d’action mondiaux comme GR00T 2. Ce modèle, entraîné sur des données humaines, permet aux robots de développer des compétences de manipulation dextre en apprenant des démonstrations humaines, même en transférant ces compétences entre différents corps robotiques. L’idée est claire : la simulation devient le terrain d’entraînement massif avant le déploiement physique.

De la simulation au monde réel avec plus de précision

La capacité à transférer une compétence apprise dans un simulateur à un robot réel est toujours le point de friction majeur. Isaac Lab 3.0 tente d’atténuer ce fossé en assurant une fidélité physique accrue grâce à Newton, qui permet de modéliser des éléments déformables comme les câbles ou les tissus. L’objectif est de permettre aux chercheurs d’entraîner des milliers de robots en parallèle dans la simulation, ce qui accélère massivement le processus d’apprentissage par renforcement.

Isaac Lab 3.0 avec Newton a atteint jusqu’à 2,5 fois le débit d’entraînement par rapport à Isaac Lab 2.3 avec PhysX, selon les informations de NVIDIA. Cette évolutivité et cette modularité montrent que le secteur se dirige vers une spécialisation des outils : certains projets utiliseront les moteurs légers pour l’efficacité, tandis que d’autres se plongeront dans les stacks lourds pour l’hyper-fidélité. Il faut désormais surveiller comment les intégrateurs vont exploiter cette liberté de choix entre les moteurs pour construire des chaînes de valeur plus rapides et plus fiables.

Sources