Axis Robotics publie en open source l’un des plus grands jeux de données de simulation de bras Franka pour l’IA physique

Axis Robotics a publié Axis Sim Dataset V1, l’un des plus grands jeux de données de simulation open source pour la manipulation avec un bras Franka. Le jeu de données complet, le code d’entraînement et les benchmarks sont accessibles au public. V1 regroupe plus de 50 000 trajectoires de simulation téléopérées par des humains, couvrant 207 tâches de manipulation et plus de 60 000 variantes de scènes avec un bras simulé Franka Research 3.

Ce jeu de données a enregistré plus de 160 000 téléchargements, ce qui en fait le jeu de données de simulation open source pour la manipulation avec un bras Franka le plus téléchargé sur Hugging Face. Lors des benchmarks, le préentraînement continu sur V1 a amélioré π0.5 et surpassé une référence RoboCasa de volume équivalent, et tous les résultats sont accessibles et vérifiables.

Axis Robotics développe le moteur de données à effet cumulatif ultime pour l’IA physique : un système intégré verticalement couvrant la simulation à grande échelle, la capture du monde réel à la première personne, la locomotion-manipulation humanoïde et le post-entraînement DAgger avec supervision humaine. L’entreprise a levé 12 millions de dollars en financement d’amorçage, lors d’un tour mené par Hack VC, auquel ont participé Nomad Capital, Pi Network Ventures, 10K Ventures et des investisseurs providentiels.

Un pari contre les « données propres uniquement »

Dans le domaine de la robotique, on part souvent du principe que les démonstrations doivent être presque optimales dès le départ : ne conserver que les trajectoires d’experts, standardiser le dispositif et éliminer tout ce qui est bruité avant de pouvoir imiter ces données en toute sécurité. La thèse d’Axis prend le contre-pied : la qualité des données se mesure à l’échelle de la distribution, et non de chaque trajectoire prise isolément. Lorsqu’un groupe suffisamment nombreux et diversifié produit des trajectoires bruitées et sous-optimales, et que les erreurs ne sont pas corrélées, le bruit s’annule en moyenne et une politique fonctionnelle émerge au fil de l’entraînement.

Axis Sim Dataset V1 met cette thèse à l’épreuve du public. Ses trajectoires couvrent la manipulation par prise et dépôt, l’empilement, le versement, la manipulation d’objets articulés et l’utilisation d’outils. Elles ont toutes été recueillies via Axis Hub, la plateforme de téléopération dans le navigateur d’Axis, par un groupe réparti de contributeurs plutôt que par une seule équipe d’experts. Le jeu de données a été constitué avec des chercheurs de l’UC Berkeley, de l’université Johns Hopkins, de l’université du Michigan et d’autres établissements.

Des résultats qui passent à l’échelle

Sur LIBERO-Plus, le préentraînement continu sur V1 fait passer le taux de réussite de π0.5 de 83,9 % à 88,8 % et dépasse de 37,3 % un modèle de référence RoboCasa365 entraîné sur un volume de données équivalent. Les performances s’améliorent de façon constante à mesure que les données de préentraînement passent de 25 % à 100 % du jeu de données, sans signe de saturation. Cela montre que les gains proviennent de la diversité et de l’étendue de la couverture, et non d’une amélioration ponctuelle. Les progrès les plus importants apparaissent lorsque les caméras, le bruit des capteurs et la disposition sont perturbés — précisément les dimensions qu’Axis varie aléatoirement lors de la génération des données.

L’équipe indique que la V2 est déjà en cours de développement et qu’elle passera à 1,2 million de trajectoires réparties sur 1 200 tâches. La généralisation entre différentes configurations matérielles et les résultats obtenus sur plusieurs modèles VLA montrent que des données de simulation sous-optimales permettent d’entraîner des politiques robustes.

Le moteur derrière le jeu de données

Ce jeu de données est le fruit d’un moteur de données plus vaste, qui s’enrichit continuellement. Contrairement à un fournisseur de données traditionnel, qui collecte des données selon un cahier des charges fixe puis s’arrête, Axis s’appuie sur les performances des modèles et leurs cas d’échec pour déterminer les prochaines données à collecter. Ainsi, chaque cycle d’entraînement éclaire le suivant. Ce moteur repose sur une stratégie hybride articulée autour de quatre filières de données, qui fonctionnent désormais toutes à grande échelle :

• Simulation: plus de 200 000 contributeurs répartis sur Axis Hub, une dApp parmi les 3 premières sur Base, produisent plus de 4,7 millions de trajectoires sur 13 configurations matérielles.
• Données égocentriques: un réseau encadré de plus de 1 000 collecteurs à temps plein, formés au contrôle qualité, qui capturent des activités à la première personne dans de véritables logements et entreprises de 14 secteurs : plus de 200 000 heures déjà collectées, et plus de 4 000 heures supplémentaires chaque jour, avec des poses de mains vérifiées par Vicon.
• Locomotion-manipulation: plus de 500 heures combinant mobilité et dextérité sur de véritables robots humanoïdes (Unitree G1, Booster T2), grâce à la téléopération indépendante du matériel.
• Post-entraînement DAgger avec validation humaine: plus de 500 heures de corrections avec intervention humaine, ciblant les cas limites du déploiement.

Chaque tâche et chaque trajectoire sont enregistrées sur la chaîne Base pour en assurer la provenance, et les contributeurs sont récompensés en fonction de la qualité vérifiée de leur travail.

Des données ouvertes au déploiement commercial

Au-delà de la publication en open source des données de simulation, Axis travaille directement avec des entreprises spécialisées dans les plateformes robotiques pour créer des pipelines de données personnalisés, adaptés à chaque plateforme robotique, ainsi que des a priori de modèle.

En tant que premier partenaire d'Axis en données de simulation, Booster Robotics a vu son espace de travail réel recréé sous la forme d'un jumeau numérique aligné sur les tâches. Des contributeurs répartis dans le monde entier y ont recueilli plus de 42 000 épisodes de simulation, qui ont ensuite été distillés en un a priori de modèle propre à Booster. Avec seulement 30 démonstrations sur robot réel, cet a priori a atteint un taux de réussite de 87,5 %, contre 37,5 % pour un modèle π0.5 prêt à l'emploi, égalant les performances de π0.5 avec deux fois moins de démonstrations en conditions réelles.

Parmi les autres partenaires figurent des entreprises spécialisées dans les plateformes robotiques (Feagine Robotics), entreprises spécialisées dans les modèles (Manycore Tech, Dexmal) et automatisation industrielle (Lotus Cars, Geely Auto). Axis fournit également des réseaux robotiques on-chain : BitRobot sur Solana et OpenRoboto sur Bittensor.

Redéfinir les fondements des données de l’IA physique

« L’avenir de l’IA physique ne repose pas sur un jeu de données statique que l’on télécharge une fois pour toutes, a déclaré Chris Feng, fondateur d’Axis Robotics. C’est un moteur qui produit en continu les données dont le modèle a besoin. L’échelle permet une couverture étendue. La diversité garantit que le bruit reste non biaisé. La boucle fermée transforme chaque échec en progrès. C’est ainsi que les effets se cumulent. »

Axis a été fondée par des chercheurs de l’UC Berkeley, de la CMU, de Georgia Tech et de la SJTU, aux côtés d’entrepreneurs en série qui ont développé des plateformes grand public comptant plus de 30 millions d’utilisateurs. Ses travaux de recherche sont encadrés par Jiachen Li, professeur adjoint à Georgia Tech.

Lien vers l’article :

Page du projet :

Lien vers le jeu de données :

Code source GitHub :

Source : BeInCrypto