Un ancien chercheur de DeepMind rejoint le chœur grandissant de ceux qui alertent sur les risques de la superintelligence

Un ancien chercheur de Google DeepMind qui travaillait sur la sécurité de l’AGI a déclaré que l’intelligence artificielle pourrait tuer tout le monde, rejoignant ainsi la vague de départs motivés par des préoccupations de sécurité dans les principaux laboratoires d’IA.

Bilal Chughtai a quitté l’entreprise en juillet et a rendu son avertissement public cette semaine. Deux autres chercheurs ont récemment démissionné.

Pourquoi les avertissements sur l’IA se multiplient

Chughtai était ingénieur de recherche chez DeepMind, où il travaillait sur la sécurité et l’alignement de l’intelligence artificielle générale. Il a commencé à travailler sur l’IA au début de 2022, à une époque où les systèmes pouvaient à peine faire quoi que ce soit d’utile.

Quatre ans plus tard, il cite les essaims d’agents d’OpenAI qui ont résolu des problèmes de mathématiques vieux d’un siècle. Plus inquiétant encore, selon lui, des agents d’IA se sont échappés de leur environnement de test isolé en juillet et ont piraté Hugging Face sans qu’on le leur demande.

« Je crois sincèrement que l’IA pourrait tous nous tuer et que nous risquons de manquer de temps pour éviter ce scénario », a-t-il écrit.

Chughtai a déclaré que les entreprises d’IA pourraient concevoir des systèmes superintelligents dans les prochaines années, capables de surpasser les humains dans tous les domaines.

Il s’est demandé si les développeurs pourraient garantir que de tels systèmes suivent fidèlement les objectifs humains. Il a averti qu’une superintelligence désalignée pourrait échapper au contrôle humain et prendre des mesures qui priveraient définitivement l’humanité de son pouvoir d’agir ou la tueraient.

Chughtai a déclaré que l’alignement de l’IA restait un défi non résolu. Selon lui, les chercheurs ne comprennent encore que très rudimentairement comment entraîner des systèmes avancés à poursuivre de manière fiable les objectifs humains. Chughtai a également averti que les capacités de l’IA progressaient plus vite que la recherche sur l’alignement.

« Notre compréhension actuelle de la manière d’entraîner des systèmes d’IA qui veulent profondément ce que nous voulons est extrêmement rudimentaire. Pire encore, nous ne sommes pas en passe de résoudre le problème de l’alignement à temps : les capacités des IA de pointe progressent beaucoup plus vite que notre compréhension de leur alignement », a ajouté Chughtai.

Il ne demande pas l’arrêt du développement de l’IA. Il souhaite une coordination pour ralentir la course entre les entreprises d’IA, ainsi qu’une plus grande transparence sur la façon dont les systèmes de pointe sont conçus et testés.

« Plus généralement, il faut que beaucoup plus de personnes réfléchissent sérieusement au problème de la bonne évolution de l’IA. À mes yeux, c’est le problème le plus important auquel l’humanité est confrontée en ce siècle, et les enjeux sont immenses. »

Suivez-nous sur X pour obtenir les dernières nouvelles au fur et à mesure qu'elles arrivent

Les démissions s’accumulent

Il n’est pas le seul à partir en lançant cet avertissement. Jacob Coxon, chercheur en préentraînement chez Anthropic, a démissionné plus tôt ce mois-ci après trois années passées chez Anthropic et OpenAI. Il est parti en avertissant que « les personnes qui développent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie ».

Evan Hubinger, responsable de la recherche sur l’alignement chez Anthropic, a ensuite estimé à plus de 10 % sa probabilité personnelle qu’un tel scénario se produise au cours de la prochaine décennie. Depuis, des chercheurs d’OpenAI se sont également prononcés en faveur d’un ralentissement.

Josh Engels, qui travaillait au sein de l’équipe de sécurité de DeepMind, a annoncé le 12 septembre qu’il avait rejoint l’organisme à but non lucratif d’évaluation METR. Il a refusé des offres d’Anthropic et d’OpenAI.

Engels a déclaré qu’il voyait un risque terrifiant que des systèmes d’IA causent des dommages immenses d’ici cinq ans.

« Je pense désormais qu’il existe une chance terrifiante que des systèmes d’IA causent des dommages immenses au cours des cinq prochaines années. Je ne connais pas la probabilité exacte, mais je la crois suffisamment élevée pour que ce soit le problème le plus important au monde », a-t-il écrit.

Ces départs ont eu lieu alors qu’un consensus se dessinait au sommet. Samedi, le PDG d’Anthropic, Dario Amodei, a publié un essai exhortant les entreprises à modérer le rythme des progrès des capacités, et le PDG d’OpenAI, Sam Altman, a soutenu cet appel.

Les dirigeants et les chercheurs qui partent décrivent désormais le même risque dans des termes similaires. Il faudra voir si la solution sera mise en place avant la prochaine avancée majeure des capacités.

Abonnez-vous à notre chaîne YouTube pour regarder des leaders et des journalistes fournir des analyses d'experts

Source : BeInCrypto