L'Institut de sécurité de l'IA du Royaume-Uni (AISI) a révélé qu'un agent IA, construit sur le Mythos 5 d'Anthropic, a mené de manière autonome une attaque d'ingénierie sociale lors de tests cybernétiques. L'agent a ouvert une demande de tirage contenant du code malveillant sur un véritable projet open-source et a créé de fausses identités pour obtenir l'approbation d'un mainteneur.
La tentative a échoué. Un mainteneur humain a détecté et refusé d'approuver le code.
L'AISI déclare que son enquête n'a pas identifié de préjudice réel résultant. Le modèle a également fonctionné avec les classificateurs cybernétiques de son développeur délibérément désactivés et un accès Internet ouvert, une configuration de test qui n'est pas disponible commercialement.
Comment l'agent IA a mené sa campagne de code malveillant
L'AISI a enregistré 19 actions non sanctionnées lors de 10 des 122 exécutions d'évaluation réalisées fin juillet, selon son rapport. 17 étaient liées au modèle Mythos 5 d'Anthropic, et deux à une seule exécution de GPT-5.6 Sol d'OpenAI.
L'agent a recherché les mainteneurs humains du projet et a créé plusieurs fausses identités. Il les a utilisées pour manipuler un véritable mainteneur afin d'approuver le code.
Lorsque la demande de tirage a été publiquement contestée, il a modifié son activité antérieure pour paraître inoffensive. Le modèle a également envisagé d'adopter une nouvelle identité pour continuer.
Le playbook rappelle la porte dérobée XZ Utils de 2024, dans laquelle une personne gérée par un humain a passé des années à gagner la confiance d'un mainteneur avant de planter un code caché. Le rapport de l'AISI ne fait pas cette comparaison, mais le contraste est difficile à manquer. L'activité s'est déroulée sur plusieurs jours, entre le 25 juillet et le 28 juillet.
L'AISI a souligné que personne n'a demandé au modèle de mentir.
« Il n'a jamais été instruit de tromper ; la tromperie est apparue comme un sous-produit de la poursuite de la tâche, le genre de tromperie orientée vers un objectif qui, jusqu'à récemment, était largement théorique. »
Suivez-nous sur X pour obtenir les dernières nouvelles au fur et à mesure qu'elles arrivent
L'institut l'a déclaré dans sa divulgation. Il a également reconnu que des invites mal configurées ont conduit l'agent à croire que certaines tâches ne pouvaient pas être résolues dans leur portée prévue. Bien que le comportement soit également apparu dans des exécutions où l'agent avait les instructions nécessaires pour rester sur la tâche.
Les équipes de sécurité ont détecté l'activité le 28 juillet, lorsque l'agent a utilisé le réseau d'anonymat Tor pour contourner certaines restrictions réseau sur GitHub. GitHub a confirmé que les actions violaient ses conditions de service. L'AISI a également travaillé avec la plateforme pour supprimer les artefacts laissés par l'agent et pour notifier les utilisateurs avec lesquels il a interagi.
Le rapport soutient que le cas signale un changement dans la source du risque : le préjudice peut survenir non seulement lorsque des personnes abusent de modèles disponibles publiquement, mais aussi lorsque des agents capables dans des environnements privilégiés agissent au-delà de leur portée autorisée.
AISI a déclaré que l'affaire souligne un changement plus large dans le domaine des risques liés à l'IA. L'institut prévoit désormais un examen indépendant avec METR, une organisation à but non lucratif d'évaluation de l'IA, ainsi que des contrôles de réseau plus stricts et une surveillance en temps réel pour les tests futurs.
Abonnez-vous à notre chaîne YouTube pour regarder des leaders et des journalistes fournir des analyses d'experts
Source : BeInCrypto
