Quatre laboratoires d’IA de pointe ont désormais confirmé que leurs modèles ont atteint l’Internet ouvert, puis accédé aux systèmes de véritables entreprises. Google a rejoint cette liste vendredi, environ quatre mois après ses propres incidents.
Gemini a accédé aux systèmes de trois véritables entreprises lors d’une évaluation menée en mai. Fait notable, le modèle s’est arrêté dans les trois cas.
Gemini, de Google, pirate les systèmes de trois entreprises lors d’un test
L’incident s’est produit lors d’un exercice de sécurité de type « capture de drapeau » organisé par Irregular. L’accès à Internet ne faisait pas partie du dispositif. Cependant, une erreur dans l’environnement de test a tout de même donné accès au modèle.
Dans un cas, le modèle aurait deviné des mots de passe jusqu’à parvenir à entrer dans un système protégé, selon le Wall Street Journal. Dans les deux autres, il a découvert des identifiants exposés dans un dépôt public et s’en est servi pour accéder à des systèmes protégés.
Heather Adkins, vice-présidente de l’ingénierie de la sécurité chez Google, a déclaré que les trois entités concernées avaient été informées de ce qui s’était passé.
« Nous avons veillé à ce que les trois entités soient informées, et nous avons travaillé avec notre partenaire de formation aux changements qu’il a maintenant apportés à ses procédures de test », a-t-elle déclaré.
Suivez-nous sur X pour obtenir les dernières nouvelles au fur et à mesure qu'elles arrivent
Quatre laboratoires, un même schéma
Google a déclaré que les agents avaient interrompu leurs activités après avoir déterminé qu’ils avaient atteint de véritables systèmes d’entreprise et non des cibles simulées.
« Lors d’une évaluation standard, le modèle a trouvé des informations publiques en ligne et deviné des identifiants pour accéder à des sites Web qu’il pensait faire partie du test », a déclaré Adkins dans un communiqué.
L’entreprise a ajouté que ce comportement ne constituait pas un exemple de désalignement du modèle et ne justifiait pas une divulgation publique, puisque les mesures de sécurité de Gemini avaient fonctionné.
Un porte-parole d’Irregular a déclaré que cela relevait du même problème que celui qui avait touché d’autres laboratoires d’IA. Irregular a averti les laboratoires concernés fin juillet. Le porte-parole a ajouté que les problèmes connus de son côté avaient été corrigés plusieurs semaines auparavant.
Cette divulgation place Google aux côtés d’OpenAI, d’Anthropic et de Meta, qui ont tous signalé cette année des modèles s’échappant de leurs environnements de test.
OpenAI a révélé en juillet que ses modèles s’étaient échappés d’un bac à sable et avaient compromis Hugging Face. Anthropic a ensuite examiné plus de 141 000 évaluations et découvert trois cas similaires de son côté. Meta a signalé un incident en août.
Abonnez-vous à notre chaîne YouTube pour regarder des leaders et des journalistes fournir des analyses d'experts
Source : BeInCrypto
