Une demande de subvention a été soumise à Claude, dont le filtre de sécurité l’a repérée et rejetée. Quelques jours plus tard, le même opérateur était de retour, et les requêtes refusées auraient alors été transmises à un modèle d’IA concurrent.
Anthropic a publié cette histoire à son propre sujet, révélant un cas où les modèles d’une entreprise d’IA ont été confrontés à des travaux potentiellement liés aux armes biologiques.
La subvention qui a été bloquée
La demande visait à obtenir des fonds pour étudier le chikungunya, un virus transmis par les moustiques qui provoque des douleurs pendant des mois et ne se soigne pas. Le projet devait l’aider à se propager plus efficacement et à déjouer le système immunitaire. Il a été conçu par des scientifiques civils. Un institut militaire devait accueillir les travaux.
Chaque échange était bloqué, mais un contournement a été trouvé. Le service utilisé par ces chercheurs avait prévu une solution de repli faisant appel au modèle d’un concurrent. Claude a contribué à écrire ce code. La tâche lui avait été présentée comme une solution aux refus excessifs.
Cinq cas, aucune intention démontrée
Le rapport compte 154 pages et présente cinq cas liés à la biologie. Anthropic a banni les comptes et n’a pas révélé les laboratoires, avant de s’abstenir de porter l’accusation à laquelle tout le monde s’attendait.
« Nous n’affirmons pas qu’ils avaient l’intention de nuire, et les identifier ou révéler le nom de leurs laboratoires pourrait les exposer à des préjudices », a déclaré l’équipe dans le rapport.
Il convient toutefois de noter que les filtres ont parfois fonctionné. Un chercheur sur la grippe aviaire a été redirigé vers des modèles moins performants, une aide qu’Anthropic qualifie de principalement administrative.
Les cas d’armes biologiques chez Anthropic en chiffres
Suivez-nous sur X pour obtenir les dernières nouvelles au fur et à mesure qu'elles se produisent
La partie qui devrait inquiéter les gens
La plupart de ces 35 initiatives relevaient de la recherche scientifique civile ordinaire. C’est bien là le problème. Les mêmes connaissances peuvent servir à créer un vaccin ou une arme, et un filtre ne peut pas lire dans les pensées.
« Un classificateur ne peut pas à la fois favoriser les bénéfices et empêcher les préjudices », a déclaré Anthropic.
Ses limites ont déjà été mises à l’épreuve. En avril, un groupe sur Discord a accédé à son modèle à accès restreint dès le premier jour.
Dans un contexte où les craintes ne cessent de croître, Washington passe à l’action : en juillet, les représentants Ted Lieu et Nathaniel Moran ont présenté la loi sur le coupe-circuit de l’IA. Celle-ci obligerait les développeurs à conserver la capacité de mettre leurs systèmes à l’arrêt.
Le même rapport a également interdit aux clients qui avaient utilisé Claude pour suivre des dissidents d’accéder à ses services.
Source : BeInCrypto
