Anthropic découvre que Claude a obtenu un accès non autorisé aux systèmes de 3 organisations

Anthropic a divulgué 3 incidents au cours desquels ses modèles Claude ont obtenu un accès non autorisé aux systèmes réels de 3 organisations différentes lors d'évaluations de cybersécurité qui étaient mal configurées avec un accès Internet en direct.

La société d'IA a identifié les incidents après avoir examiné 141 006 exécutions d'évaluation, un contrôle qu'elle a lancé après qu'OpenAI a révélé que ses modèles avaient échappé à un environnement de test isolé et avaient atteint Hugging Face.

Comment Claude a atteint des systèmes réels lors des tests Capture-the-Flag

Les évaluations ont chargé Claude de défis de capture du drapeau. Ces exercices demandent à un modèle de s'introduire dans une machine et de récupérer des informations cachées.

Anthropic a dit aux modèles qu'ils n'avaient pas accès à Internet. Cependant, une mauvaise configuration a laissé les machines de test connectées au web ouvert. Ainsi, Claude a traité les systèmes réels qu'il a trouvés comme faisant partie de l'exercice.

Dans l'incident le plus grave, Claude Opus 4.7 a exploité des vulnérabilités dans l'infrastructure d'une véritable entreprise. Le modèle a extrait des identifiants d'application et d'infrastructure et a accédé à plusieurs centaines de lignes de données de production.

« Dans les quatre exécutions, le modèle a finalement reconnu (comme on peut l'observer dans son raisonnement verbalisé) que le système était réel - dans deux cas, le modèle a rationalisé que la véritable entreprise devait faire partie de l'exercice. Cependant, aucun n'a arrêté l'attaque sur cette base », a déclaré Anthropic.

Suivez-nous sur X pour obtenir les dernières nouvelles au fur et à mesure qu'elles arrivent

Claude Mythos 5 a téléchargé des logiciels malveillants sur PyPI

Dans un autre incident, Claude Mythos 5 a publié un package Python piégé sur PyPI, le registre public de logiciels. Le package est resté actif pendant environ 1 heure et a fonctionné sur 15 systèmes réels.

L'un d'eux était le scanner d'une entreprise de sécurité, qui a exécuté le code caché. Claude a ensuite exfiltré les identifiants de cette entreprise et a accédé à d'autres infrastructures. Le raisonnement du modèle a signalé le risque tôt dans le processus avant de se convaincre que l'environnement était simulé.

« Claude a déployé des efforts considérables pour mener cette attaque - des efforts qui auraient probablement indiqué à un participant humain que ce n'était plus juste une évaluation, et qu'ils téléchargeaient en fait un vrai package PyPI », a ajouté l'équipe.

Un troisième incident a impliqué un modèle de recherche interne qui a scanné environ 9 000 cibles et compromis l'application d'une entreprise via une injection SQL. Ce modèle a arrêté son attaque une fois qu'il a conclu que la cible était réelle.

Anthropic a informé les organisations concernées le 27 juillet et a déclaré qu'elle était en pourparlers avec l'évaluateur METR pour un examen par un tiers. L'entreprise soutient que les épisodes reflètent un échec opérationnel plutôt qu'un échec d'alignement du modèle, notant que ses protections standard pour les consommateurs auraient bloqué ce comportement.

Abonnez-vous à notre chaîne YouTube pour regarder des leaders et des journalistes fournir des analyses d'experts

Source : BeInCrypto