Elon Musk a qualifié Grok 4.5 de modèle de classe Opus qui fonctionne plus rapidement et coûte moins cher. Un benchmark indépendant et agentique fournit désormais un véritable soutien à cette affirmation.
Sur l'AutomationBench-AA d'Artificial Analysis, Grok 4.5 a obtenu la première place avec un score de 51,4 % tout en coûtant 0,34 $ par tâche. Il a battu à la fois Claude Fable 5 (48,6 %) et Claude Opus 4.8 (48,5 %).
Un contrôle indépendant sur l'affirmation d'Elon Musk
SpaceXAI a rendu Grok 4.5 public cette semaine, construit sur sa fondation V9 de 1,5 trillion de paramètres. Le discours de Musk reposait sur des évaluations internes préliminaires.
L'AutomationBench-AA change cela. Artificial Analysis exécute le benchmark de manière indépendante et garde son ensemble de tâches privé pour éviter toute contamination.
Le test couvre 657 tâches à travers 40 applications simulées, y compris Gmail, Slack, Salesforce et HubSpot. Il évalue la part des objectifs qu'un agent complète sans enfreindre les garde-fous.
Grok 4.5 : Moins cher, plus rapide et principalement conforme
Le coût de 0,34 $ par tâche de Grok 4.5 était bien en dessous de 1,35 $ pour Fable 5 et de 1,46 $ pour Opus 4.8. Gemini 3.5 Flash était le plus proche avec 0,49 $.
Le modèle utilisait environ 8 000 tokens de sortie par tâche, soit environ un quart du total d'Opus 4.8. Cette efficacité est à l'origine de la plupart de l'écart de coût, correspondant à la présentation utilisée par Musk lors du lancement.
« Son utilisation totale de tokens de 0,44 M par tâche est parmi les plus basses du classement. Le faible coût est dû à cette efficacité ainsi qu'à des prix de tokens bas », a déclaré Artificial Analysis.
De plus, Grok 4.5 a atteint 79,9 % des objectifs de tâche et a réussi entièrement 21,9 % des tâches. Dans le domaine le plus difficile, la Finance, il a obtenu 71 %, devant les 64 % de Fable 5 et les 62 % d'Opus 4.8.
Cependant, le modèle a enfreint plus de règles que ses rivaux les plus proches. Il a enregistré 0,63 violations de garde-fou par tâche, au-dessus des 0,55 d'Opus 4.8 et des 0,46 de Gemini 3.5 Flash.
Cet écart est important pour les entreprises qui déploient des agents dans des systèmes financiers en direct, où une seule violation peut entraîner des coûts réels.
Source : BeInCrypto
