# ToyBlocks automatise la génération de données pour l’apprentissage robotique

_Publié le 6 novembre 2026 — https://ip73.fr/2026/11/06/toyblocks-automatise-la-generation-de-donnees-pour-l-apprentissage/_

ToyBlocks, un cadre de simulation développé par AllenAI, permet aux chercheurs de bâtir des environnements robotiques ultra-contrôlés. L'objectif est de contourner le problème récurrent des démonstrations d'apprentissage trop spécifiques. Au lieu de passer des heures à téléopérer un robot physiquement, le système génère automatiquement des exemples de tâches de manipulation, comme empiler ou retourner des blocs sur une table.

Ce n'est pas uniquement un outil de démonstration. Il est présenté comme un « FoundationWorld », un environnement ciblé pour étudier comment un modèle d'IA s'améliore avec l'augmentation des données, ou comment combiner le raisonnement de haut niveau avec la précision physique. Ce cadre répond à quatre exigences : une physique réaliste, une génération de données massive, des défis qui mêlent raisonnement et dextérité, et une couverture large des tâches dans son périmètre restreint.

Le principe repose sur une séparation des niveaux de contrôle. Des modèles de haut niveau, comme Molmo2 ou des grands modèles de langage (LLM) connectés, décident de la séquence d'actions. Des modèles de bas niveau, tels que ManiFlow, exécutent le mouvement physique. ManiFlow est une politique d'apprentissage par imitation visuo-motrice qui utilise le « flow matching » pour produire des actions précises et multidimensionnelles, conditionnées par des entrées visuelles, linguistiques et proprioceptives. Les chercheurs notent que cette architecture permet des améliorations significatives sur des tâches réelles.

L'automatisation est un point fort majeur. Grâce à un planificateur de tâche et de mouvement (TAMP), ToyBlocks séquence les compétences nécessaires pour atteindre un objectif. L'exécution de ces plans en simulation peut atteindre jusqu'à 24 fois la vitesse réelle sur un seul GPU. Cela signifie que la création d'un jeu de données conséquent, qui prendrait des jours en réalité, peut être réalisée en un temps record.

Le système va au-delà de la simple production de données brutes. Il intègre des mécanismes d'évaluation sophistiqués. Puisque chaque objectif est exprimé en PDDL (Planning Domain Definition Language), ToyBlocks mesure automatiquement le succès et le progrès partiel sans nécessiter de coder des métriques spécifiques à chaque tâche. De plus, le générateur de données est contrôlable : un chercheur peut décider de générer spécifiquement plus de démonstrations de « poussée » ou de « retournement », puis tester les modèles sur des tâches qui n'étaient pas incluses dans l'entraînement.

Pour simuler le monde réel, le cadre utilise la « domain randomization ». En faisant varier des propriétés physiques comme la taille des blocs ou la hauteur de la table d'une scène à l'autre, on teste la robustesse des modèles face aux changements géométriques. L'architecture permet aussi d'entraîner des modèles qui mappent les observations brutes (comme la pose d'un bloc estimée par la perception) directement sur des actions, reflétant ainsi les conditions du monde physique.

Ce contrôle total sur le flux de données offre une traçabilité inédite. Si une politique entraînée échoue, on peut isoler la cause en remplaçant un niveau de la politique par un « oracle » et renvoyer l'état de l'échec au générateur de données pour planifier de nouvelles démonstrations expertes. Ce cycle entre entraînement et génération de données est le cœur de cette approche contrôlée.

En plus de la manipulation de blocs, ToyBlocks permet des tâches de recherche, de tri et d'arrangement grâce aux images et lettres sur les faces des blocs. L'ambition est d'étendre ce modèle de « FoundationWorld » vers des environnements plus complexes, tout en assurant que le bras simulé et les blocs se comportent de manière très similaire à leurs homologues physiques.

## Sources

- [GitHub - allenai/ToyBlocks](https://github.com/allenai/ToyBlocks), github.com
- [ManiFlow: A General Robot Manipulation Policy via Consistency Flow Training](https://arxiv.org/abs/2509.01819), arxiv.org
- [ToyBlocks: A controlled world for robot learning and evaluation](https://huggingface.co/blog/allenai/toyblocks), Hugging Face, 6 novembre 2026
- [ToyBlocks: A controlled world for robot learning and evaluation](https://allenai.org/blog/toyblocks), Ai2, 6 novembre 2026

## Crédits photo

- Image en une : [University of Washington - Bill and Melinda Gates Center for CSE - robotics lab 04](https://commons.wikimedia.org/wiki/File:University_of_Washington_-_Bill_and_Melinda_Gates_Center_for_CSE_-_robotics_lab_04.jpg), par Joe Mabel, [CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0), via Wikimedia Commons (recadrée)
- Image dans l’article : [University of Washington - Bill and Melinda Gates Center for CSE - robotics lab 02](https://commons.wikimedia.org/wiki/File:University_of_Washington_-_Bill_and_Melinda_Gates_Center_for_CSE_-_robotics_lab_02.jpg), par Joe Mabel, [CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0), via Wikimedia Commons (recadrée)