Des chercheurs de Nvidia, de l'Université Carnegie Mellon et de l'Université de Californie à Berkeley ont introduit ENPIRE — un cadre qui permet aux agents de codage IA d'améliorer les politiques de contrôle des robots sur du matériel réel.
Le système fonctionne en boucle fermée : le robot effectue une tâche, l'environnement évalue automatiquement le résultat et revient à son état initial, et l'agent IA analyse les erreurs, réécrit le code et lance la prochaine série d'essais.
Comment fonctionne ENPIRE
En robotique, l'entraînement sur du matériel réel reste un processus coûteux et lent. Après une tentative échouée, la scène doit être ramenée à son état initial, le résultat vérifié, l'algorithme modifié et l'essai réalisé à nouveau. En général, une partie de ce travail nécessite l'implication d'ingénieurs.
ENPIRE transfère au monde physique une approche que Nvidia appelle AutoResearch : les agents IA écrivent du code, le testent et l'améliorent lors des itérations suivantes. Cependant, contrairement à un environnement numérique, ici chaque expérience implique de vrais robots, des caméras, des objets, des erreurs de préhension, de la friction et d'autres contraintes physiques.
Le cadre se compose de quatre modules :
- L'environnement est responsable de la réinitialisation automatique de la scène, de la vérification des résultats, de la journalisation et des interfaces de sécurité ;
- L'amélioration de la politique lance l'amélioration de la politique de contrôle ;
- Le déploiement évalue la politique sur un ou plusieurs robots physiques ;
- L'évolution permet aux agents d'analyser les journaux, de chercher des idées dans la littérature, de modifier l'infrastructure d'entraînement et de corriger le code.
Après la configuration initiale de l'environnement, la boucle peut fonctionner sans supervision humaine constante. L'agent reçoit des données provenant de la vidéo, des trajectoires et de la fonction de récompense, propose une nouvelle hypothèse, modifie le code, teste le résultat sur le robot et enregistre les modifications si elles améliorent la métrique.
Pourquoi la vérification automatique et la réinitialisation sont nécessaires
Un élément clé d'ENPIRE est l'automatisation de deux opérations : vérifier le résultat et ramener la scène à son état initial. La première est nécessaire pour que le système puisse déterminer par lui-même si la tâche a été accomplie. Par exemple, dans le scénario du lien en plastique, la fonction d'évaluation combinait un détecteur, un modèle de segmentation et une vérification par deux caméras. De cette manière, l'agent recevait un signal de succès ou d'erreur sans étiquetage manuel de chaque essai.
La réinitialisation automatique permet d'effectuer de nombreuses tentatives consécutives. Après une action échouée, le robot doit ramener l'objet ou la scène à un état approprié pour la prochaine expérience. Sans cela, l'entraînement sur du matériel réel rencontre rapidement le besoin d'une implication humaine constante.
Comme l'a noté Decrypt, à la première étape, un humain aide l'agent à créer des outils permanents — une procédure de réinitialisation et une fonction de récompense. Après cela, ils sont réutilisés, et l'agent prend en charge l'amélioration ultérieure de la politique.
Ce qui a été montré sur les robots
Dans des expériences réelles, l'équipe a testé ENPIRE sur plusieurs tâches de manipulation. Push-T vérifie si le robot peut pousser un objet en forme de T dans une zone donnée. L'insertion de broches nécessite d'insérer des broches dans des trous de 4 mm de diamètre. L'installation de GPU et les opérations avec un collier de serrage sont également montrées.
Sur la page du projet Nvidia, il est indiqué que dans des tâches de manipulation réelles, le système a réussi à accomplir la tâche dans 99 % des cas si l'agent avait jusqu'à huit tentatives en tenant compte des erreurs précédentes. La métrique reflète la capacité du système à se remettre après des échecs et à répéter des actions en tenant compte du contexte, plutôt que l'exactitude d'une seule tentative isolée.
En tant qu'agents de codage, l'équipe a comparé Codex sur GPT-5.5, Claude Code sur Opus 4.7, et Kimi Code sur Kimi K2.6. L'évaluation a eu lieu dans le benchmark AutoEnvBench sur les tâches Push-T et Pin Insertion.
Les chercheurs ont également testé ENPIRE dans RoboCasa — un simulateur de tâches ménagères telles que l'ouverture de placards et de tiroirs et l'allumage ou l'extinction d'objets dans la cuisine. Dans ces scénarios, ENPIRE a surpassé le GR00T de Nvidia et CaP-X — un système d'agent qui utilise des outils mais ne réalise pas un cycle complet de recherche automatique.
Huit robots ont accéléré l'entraînement
Un bloc séparé du travail est consacré à l'échelle d'une flotte de robots. Nvidia a mené une expérience sur huit stations robotiques avec deux manipulateurs. Chacune avait son propre matériel, ordinateur et agent de codage IA.
Les stations ont échangé des résultats via Git : une idée ou un changement de code réussi pouvait rapidement se propager entre les agents. Cette approche a permis de réduire le temps de formation. Selon Decrypt, la transition d'un robot à huit a réduit le temps nécessaire pour maîtriser Push-T d'environ cinq à deux heures. Pour l'insertion de broches, le temps est passé de plus de 90 minutes à environ 40 minutes.
Limitations
Les auteurs ont souligné que l'échelle ne résout pas tous les problèmes. Lorsque les agents lisent des journaux, écrivent du code, le déboguent ou attendent une réponse du modèle de langage de base, les robots et les ressources informatiques ne sont pas pleinement utilisés. À mesure que le nombre de robots augmente, l'activité GPU augmente, mais l'utilisation moyenne des robots eux-mêmes diminue. Les équipes d'agents passent plus de temps à résumer les résultats d'autres branches et à coordonner, plutôt que de se concentrer uniquement sur des exécutions physiques.
Une autre limitation est la croissance de la consommation de tokens. Une flotte de robots plus importante amène la politique à un état opérationnel plus rapidement mais nécessite plus de tokens en raison de la lecture des journaux, du partage d'idées et de la coordination entre les agents.
De plus, ENPIRE a jusqu'à présent été démontré sur un ensemble limité de tâches de manipulation. Ses résultats ne signifient pas que les robots peuvent déjà maîtriser de manière autonome des compétences physiques arbitraires dans un environnement ouvert sans préparation technique.
Rappelez-vous qu'en juin, Nvidia a présenté le robot humanoïde de référence Isaac GR00T — un design de référence de recherche pour développer et tester les compétences des robots humanoïdes. La configuration comprenait un corps Unitree H2 Plus et des mains tactiles à cinq doigts de Sharpa Wave.
Plus tôt, Unitree a présenté "le premier robot piloté prêt pour la production de masse" au monde. L'androïde est capable de se déplacer sur deux et quatre membres.
Source : ForkLog
