Le modèle d’IA d’un concurrent a finalement fait le gros du travail lors d’une intrusion visant OpenAI. Des chercheurs de Hacktron AI ont utilisé Claude, le modèle d’Anthropic, pour écrire du code d’exploitation fonctionnel.
L’intrusion entière a duré moins de 72 heures. OpenAI a finalement versé une prime de 6 500 dollars après que l’équipe a prouvé avoir accédé à son code source privé.
Comment le téléversement d’une image a mené à une intrusion complète
La chaîne d’attaque a commencé par quelque chose de banal : une fonction de téléversement d’images sur le forum d’aide communautaire d’OpenAI, qui repose sur un logiciel tiers appelé Discourse.
Un filtre de sécurité était censé contrôler les fichiers téléversés. Il ne reconnaissait toutefois pas certains formats d’image, qui passaient donc sans vérification. Ces fichiers parvenaient ensuite à une bibliothèque distincte de traitement d’images, affectée par une faille connue de corruption de mémoire.
À la fin du mois de juillet, l’équipe de trois personnes de Hacktron — Harsh Jaiswal, Mohan Pedhapati et Rahul Maini — a tenté d’exploiter cette faille.
L’ancien modèle de Claude peinait à contourner une protection de sécurité conçue pour randomiser les emplacements mémoire.
Quelques heures plus tard, le nouveau modèle a produit du code d’attaque fonctionnel et l’a adapté à la configuration précise du forum.
Suivez-nous sur X pour obtenir les dernières nouvelles au fur et à mesure qu'elles se produisent.
Cela ne donnait accès qu’aux serveurs du forum, et non à OpenAI directement. Une deuxième faille, sans rapport avec la première, dans le système d’authentification unique d’OpenAI a changé la donne.
Comme les identifiants du forum servaient aussi à authentifier les comptes ChatGPT et Codex, le détournement de la session d’un seul employé a donné un accès direct au dépôt de code privé d’OpenAI.
Discourse a corrigé le bug lié aux images quelques jours plus tard, en évaluant sa gravité à 8,8 sur 10. OpenAI a corrigé la faille d’authentification environ 14 heures après le signalement dans son programme de récompenses pour la découverte de bugs.
Pourquoi les laboratoires d’IA sont sans cesse confrontés à leurs propres créations
Cet épisode n’est pas un cas isolé. OpenAI avait déjà révélé un autre incident en juillet, au cours duquel des modèles internes étaient sortis d’un bac à sable de test et avaient accédé à des systèmes externes.
Anthropic a, de son côté, reconnu que Claude avait compromis de véritables organisations lors d’évaluations de cybersécurité qui, contre toute attente, lui avaient donné accès à Internet en direct.
Le responsable de l’IA chez Microsoft, Mustafa Suleyman, a fait référence cette semaine à cette même nuée d’agents non autorisés, avertissant publiquement que les modèles de plus en plus autonomes deviennent plus difficiles à contenir.
« C’est un avertissement… Il est clairement temps que les laboratoires se coordonnent afin de garantir que nous gardions le contrôle de cette technologie », a déclaré Suleyman à Reuters.
Ce qui rend le cas Hacktron notable, ce n’est pas sa nouveauté. Les chercheurs en sécurité enchaînent des bugs logiciels depuis des décennies.
Ce qui a changé, c’est la vitesse : une tâche qui exigeait autrefois une expertise humaine spécialisée sur une longue période a été accomplie en une seule soirée dès qu’un modèle suffisamment performant a été intégré au processus.
Abonnez-vous à notre chaîne YouTube pour regarder des leaders et des journalistes fournir des analyses d'experts..
Source : BeInCrypto
