Anthropic a lancé Claude Sonnet 5.5 le 28 septembre, au même prix catalogue que Sonnet 5. L’entreprise affirme que le modèle est plus de 30 % rapide et coûte jusqu’à 30 % moins cher par tâche.
Une société indépendante d’évaluation comparative est parvenue à une conclusion différente sur les coûts lorsqu’elle a poussé le modèle dans ses derniers retranchements.
Suivez-nous sur X pour obtenir les dernières nouvelles au fur et à mesure qu'elles arrivent
Le deuxième modèle 5.5 d’Anthropic arrive quelques jours après Opus
Sonnet 5.5 est le deuxième modèle de la famille Claude 5.5. Anthropic a lancé Opus 5.5 le 22 septembre. Le même jour, OpenAI a également lancé GPT-6 Sol et Luna.
Le nouveau modèle conserve les tarifs de Sonnet 5 : 2 $ par million de jetons d’entrée et 10 $ par million de jetons de sortie. Anthropic a annoncé un score de 70,6 % à Terminal-Bench 4.0, un test de programmation agentique. Sonnet 5 n’a obtenu que 10,3 %, tandis qu’Opus 5.5 a atteint 66,4 %.
« Alors qu’Opus 5.5 est conçu pour les tâches complexes nécessitant un jugement minutieux, Sonnet 5.5 excelle dans les tâches quotidiennes bien délimitées, la correction de bogues et la création de documents, de présentations et de feuilles de calcul soignés », a déclaré l’équipe.
Anthropic a indiqué que Sonnet 5.5 ne repoussait pas les limites de ses capacités. Son examen d’alignement s’est donc concentré sur des risques tels que la tromperie des utilisateurs et la facilitation d’usages abusifs à haut risque.
Sonnet 5.5 est également doté de protections contre les cybermenaces et de classificateurs anti-distillation. Ceux-ci bloquent les tentatives d’extraction du raisonnement du modèle en vue d’entraîner des systèmes concurrents. Claude Haiku 5.5 suivra dans les prochaines semaines.
Par ailleurs, OpenAI a mis de côté un modèle à venir, GPT-6.1 Astra, pour des raisons de sécurité. CNBC a confirmé lundi que le modèle ne répondait pas aux normes de l’entreprise.
Artificial Analysis constate une consommation de tokens plus élevée avec l’effort maximal
Artificial Analysis, le cabinet d’évaluation qui a classé Grok 4.7 en quatrième position, a attribué une note de 56 à Sonnet 5.5 sur son Intelligence Index. Le modèle arrive ainsi en deuxième position au classement général, à 2 points derrière Opus 5.5 avec un effort maximal.
Le cabinet a relevé un score de 64 % pour Sonnet 5.5 sur Terminal-Bench 4.0, contre 60 % pour Opus 5.5 et GPT-6 Astra. Sur des tests de connaissances professionnelles comme GDPval-AA, il a constaté que Sonnet 5.5 faisait à peu près jeu égal avec Opus 5.5.
Le cabinet a indiqué que Sonnet 5.5 avait utilisé beaucoup plus de tokens pour obtenir ces résultats.
« Avec un effort maximal, où ses performances se rapprochent de celles d’Opus 5.5, Claude Sonnet 5.5 a utilisé environ 193 000 tokens de sortie par tâche de l’Intelligence Index. »
Ce volume dépasse d’environ 60 % celui d’Opus 5.5 et de Sonnet 5 avec un effort maximal. Il représente aussi près de 7 fois le nombre de tokens utilisé par GPT-6 Astra avec un effort maximal.
Les clients ayant bénéficié d’un accès anticipé, cités par Anthropic, ont fait état de la tendance inverse par rapport à Sonnet 5, mais pour d’autres types de tâches. Balyasny Asset Management a constaté une consommation de tokens bien plus faible pour ses tâches financières.
« Sur notre suite privée de 2 441 tâches financières portant sur les questions-réponses, l’extraction, l’analyse et les prévisions, Claude Sonnet 5.5 a obtenu un meilleur score que Sonnet 5 et a utilisé environ 121 000 tokens par réponse, contre 497 000 pour Sonnet 5 », a déclaré Joe Poirier, ingénieur principal en IA chez Balyasny Asset Management.
Artificial Analysis a testé une version préliminaire qui comportait un bug lié aux sorties structurées, depuis corrigé par Anthropic. Le cabinet prévoit de relancer prochainement les évaluations concernées.
Abonnez-vous à notre chaîne YouTube pour regarder des leaders et des journalistes fournir des analyses d'experts
Source : BeInCrypto
