Alibaba a dévoilé Qwen-Robot Suite — un ensemble de modèles d'IA pour les robots et les tâches dans l'environnement physique : Qwen-RobotNav pour la navigation, Qwen-RobotManip pour les actions avec des objets, et Qwen-RobotWorld pour prédire comment une scène va se dérouler. L'équipe a décrit le projet comme un « stack complet pour l'intelligence artificielle incarnée ».
Ce sont des modèles logiciels destinés à aider les agents physiques à percevoir leur environnement, à planifier des actions et à exécuter des commandes en langage naturel. Qwen-Robot Suite est déjà en phase d'essai pilote avec certains clients d'entreprise d'Alibaba Cloud dans le domaine de la robotique.
Pourquoi Alibaba amène Qwen dans le monde physique
Les grands modèles de langage et multimodaux peuvent déjà travailler avec du texte, des images, de la vidéo et de la parole, mais cela ne suffit pas pour les robots. Les agents physiques doivent non seulement comprendre une commande mais aussi la traduire en mouvement, tenir compte de l'espace, des propriétés des objets, des limitations des capteurs et des conséquences des actions.
Alibaba appelle cela le domaine de l'IA physique, ou « IA incarnée ». Dans cette approche, un modèle doit fonctionner non seulement avec des données numériques mais aussi avec l'environnement physique : se déplacer, trouver des objets, contrôler des manipulateurs et prédire ce qui se passera après une action.
Qwen-RobotNav : cinq tâches de navigation dans un modèle
Qwen-RobotNav est responsable de la navigation. Le modèle combine cinq groupes de tâches :
- suivre des instructions ;
- se déplacer vers un point spécifié ;
- chercher des objets ;
- suivi d'une cible;
- conduite autonome.
Selon Alibaba, Qwen-RobotNav est construit sur Qwen3-VL et entraîné sur 15,6 millions d'échantillons liés à la planification d'itinéraires et au raisonnement visuel-langagier.
L'entreprise a revendiqué un taux de succès de 76,5 % sur VLN-CE RxR et de 90 % sur EVT-Bench. Alibaba a également précisé que le modèle peut fonctionner comme un outil pour des systèmes agentiques plus grands : un modèle de niveau supérieur planifie la tâche, tandis que Qwen-RobotNav gère le mouvement.
Dans ses démonstrations, Alibaba décrit des scénarios tels que la recherche d'un objet perdu dans une pièce ou la vérification de l'ouverture d'un objet spécifique dans un bâtiment. Dans de telles tâches, un robot ne doit pas simplement se déplacer mais rassembler des preuves visuelles et retourner une réponse à l'utilisateur.
Qwen-RobotManip : actions avec des objets
Qwen-RobotManip est conçu pour des actions physiques avec des objets. Le modèle est destiné à aider les robots à ramasser, déplacer et placer des articles, ainsi qu'à transférer des compétences entre différents types de dispositifs.
Un des principaux défis de la robotique est que les robots décrivent les actions différemment. Un manipulateur, une plateforme à deux bras, un robot avec une main ou un système mobile utilisent des coordonnées, des articulations et des formats de commande différents. Qwen-RobotManip tente de rassembler ces données dans une représentation commune afin que l'entraînement sur un type de robot aide un autre.
Pour l'entraînement, Alibaba a utilisé plus de 38 100 heures de données. Ce volume comprenait 11 320 heures de données sur la robotique ouverte, 1 933 heures de vidéos d'actions humaines en première personne, et 24 808 heures de démonstrations robotiques synthétiques créées sur la base de telles vidéos.
La société a déclaré que le modèle a pris la première place dans RoboChallenge Table30 v1 dans la catégorie des modèles à usage général. Selon Alibaba, Qwen-RobotManip a également montré une robustesse face à de nouvelles instructions, des objets inconnus, et le transfert de compétences entre différents robots.
Qwen-RobotWorld : un modèle de monde pour les robots
Qwen-RobotWorld est un modèle de monde vidéo contrôlé par le langage naturel. Il est destiné à prédire comment une scène se déroulera après une action donnée.
Par exemple, le modèle reçoit une observation actuelle et une commande textuelle, puis génère un état futur probable de l'environnement. Cette approche peut être utilisée pour la manipulation, la conduite autonome, la navigation, la planification, et la création de données d'entraînement synthétiques pour les robots.
Pour entraîner Qwen-RobotWorld, l'équipe a assemblé le corpus de connaissances du monde incarné. Il comprend 8,6 millions de paires « vidéo-texte » et plus de 200 millions d'images, couvre plus de 20 types de plateformes robotiques et plus de 500 catégories d'actions.
Alibaba a déclaré que Qwen-RobotWorld a pris la première place dans EWMBench et DreamGen Bench, et a également surpassé tous les modèles ouverts dans WorldModelBench et PBench. La description technique affirme également que le modèle montre une grande cohérence avec les régularités physiques de base — mouvement, conservation de la masse, fluides et gravité.
Les robots grand public sont encore loin d'être une réalité.
Malgré les résultats revendiqués, Qwen-Robot Suite reste pour l'instant un ensemble de modèles plutôt qu'une plateforme de robotique grand public achevée. Le déploiement dans le monde réel se heurte à des bruits de capteurs, à l'usure des actionneurs, à des situations non standard, à des erreurs de perception et à un nombre énorme de scénarios rares. Beaucoup des benchmarks sur lesquels ces systèmes sont comparés sont réalisés en simulation ou dans des conditions expérimentales limitées.
Alibaba n'a également pas divulgué le coût d'accès, le calendrier d'un lancement public ou la liste des clients qui testent déjà Qwen-Robot Suite.
Pour rappel, en avril, Alibaba Cloud a dévoilé le modèle agentique Qwen3.6-Plus avec une fenêtre contextuelle de 1 million de tokens et un support pour des outils externes.
Source : ForkLog
