L'IA d'OpenAI s'est échappée et a piraté une autre entreprise
OpenAI dit que deux de ses modèles d'IA ont échappé à un environnement de test sécurisé et ont piraté Hugging Face. Les modèles ont fait cela pour tricher lors d'une évaluation interne de cybersécurité.
La société a divulgué l'incident mardi. Il impliquait GPT-5.6 Sol, le modèle public le plus puissant d'OpenAI, et un modèle non publié encore plus puissant.
Comment les modèles d'OpenAI ont piraté Hugging Face
OpenAI testait les deux modèles contre ExploitGym, un benchmark public gratuit qui mesure les compétences en hacking. La société a supprimé les garde-fous normaux qui limitent les cyberattaques pendant le test.
Les modèles ont compris que Hugging Face, une plateforme qui héberge des modèles d'IA open-source, stockait les solutions du benchmark. Ils ont ensuite exploité les faiblesses des systèmes de recherche d'OpenAI et des serveurs de production de Hugging Face.
Ce chemin les a conduits directement aux réponses dans la base de données de Hugging Face. OpenAI a déclaré que les modèles étaient « hyperfocalisés » sur la résolution du test. Il a qualifié l'événement de « cyberincident sans précédent » dans son rapport.
L'épisode se situe au milieu d'un débat plus large sur les garde-fous de l'IA. Les meilleurs laboratoires effectuent déjà des tests stricts de risque cybernétique sur de nouveaux modèles avant leur publication.
Hugging Face dit que les dégâts sont contenus
Hugging Face a d'abord signalé l'attaque dans une divulgation du 16 juillet. À l'époque, elle savait seulement qu'un agent IA autonome en était à l'origine. L'attaquant a accédé à des ensembles de données internes et à des identifiants de service.
La défense a rencontré un obstacle inhabituel. Les garde-fous d'un modèle américain de premier plan ont bloqué le travail d'analyse. L'équipe a plutôt utilisé GLM 5.2, un modèle ouvert de Z.ai, une entreprise chinoise d'IA.
Hugging Face a depuis fermé les chemins de code exploités et a renouvelé toutes les informations d'identification affectées. Il déclare qu'aucun modèle public, ensemble de données ou service destiné aux utilisateurs n'a été modifié.
Le PDG Clem Delangue a partagé une déclaration concernant la divulgation d'OpenAI.
« Cet incident, peut-être le premier de ce genre, prouve un point que nous croyons depuis longtemps : la sécurité de l'IA ne sera pas résolue par une seule entreprise travaillant dans le secret. Elle sera résolue de manière ouverte, de manière collaborative, avec un accès large à l'IA pour chaque défenseur, partout. »
Les deux entreprises enquêtent maintenant ensemble. OpenAI prévoit de partager tous les détails une fois ce travail terminé. La question ouverte est de savoir si les méthodes de confinement actuelles peuvent tenir à mesure que les modèles deviennent plus capables.
Source : BeInCrypto