Un chercheur d’Anthropic, Jacob Coxon, a déclaré avoir démissionné de l’entreprise, affirmant qu’Anthropic et OpenAI se livrent une course vers une superintelligence capable de s’améliorer elle-même et jouent avec des vies humaines.
Le chercheur a déclaré avoir travaillé au préentraînement au sein des deux entreprises pendant les trois dernières années. Il a formulé ces accusations dans une série de publications sur X.
Un chercheur d’Anthropic claque la porte en lançant un sombre avertissement à tous ceux qui sont encore à l’intérieur
Coxon a soutenu que l’évolution de cette technologie est largement sous-estimée. Il a affirmé que les systèmes à venir pirateront tout, transformeront n’importe quel domaine du jour au lendemain et acquerront un réel pouvoir et des ressources.
Il a également affirmé que les conversations privées au sein du secteur diffèrent fortement des discours publics. Selon Coxon, les hauts responsables édulcorent leurs propos pour la presse, tout en exprimant leur peur en privé.
« Les personnes qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer avant la fin de la décennie. Ce n’est pas un coup de pub », a-t-il déclaré. « Aucune autre activité humaine ne présente un tel niveau de danger. »
Coxon a établi une distinction entre ses deux anciens employeurs. Il a affirmé que beaucoup chez OpenAI n’ont pas pris la mesure de ce qu’il a qualifié d’enjeu civilisationnel, tandis qu’Anthropic en comprend les enjeux, mais reste enfermée dans une course pour arriver la première.
Il est l’un des nombreux employés à avoir rompu les rangs cette année. Mrinank Sharma, responsable des garde-fous chez Anthropic, a démissionné en février.
Joshua Achiam, ancien futurologue en chef d’OpenAI, a écrit le 1er septembre que des systèmes d’IA rebelles se répliqueront dans la nature et chercheront à obtenir de l’argent et du pouvoir.
Suivez-nous sur X pour obtenir les dernières nouvelles au fur et à mesure qu'elles arrivent
L’appel à la coordination
Coxon a décrit le fait d’entrer dans ce qu’il a appelé la phase finale comme un pari présomptueux. Selon lui, une telle décision ne devrait pas être prise dans le Slack d’une entreprise privée.
Il a toutefois déclaré rester optimiste quant à la coordination. Il a affirmé que l’attaque contre Hugging Face avait rendu plus envisageables des accords entre laboratoires américains sur le rythme du développement.
Les deux entreprises ont déjà soutenu une version de cette idée. En juillet, plus de 1 100 membres du personnel de laboratoires de pointe ont signé la lettre « Ralentir la course à la frontière », dont Dario Amodei, PDG d’Anthropic, et Jakub Pachocki, scientifique en chef d’OpenAI.
« Nous demandons au gouvernement américain de soutenir un effort international visant à mettre au point les outils techniques et de gouvernance nécessaires pour maîtriser délibérément le rythme du développement de l’IA automatisée de pointe », peut-on lire dans la lettre.
En outre, les deux entreprises ont également signé une lettre ouverte commune sur la cyberdéfense, aux côtés de Google, Microsoft et d’environ 150 autres organisations. La lettre avertit que les attaques facilitées par l’IA se multiplieront et gagneront considérablement en sophistication au cours des prochains mois.
L’avertissement de Coxon intervient également peu après que Volker Türk, haut-commissaire des Nations unies aux droits de l’homme, a déclaré au Conseil des droits de l’homme que l’IA avancée pourrait représenter un risque existentiel.
Coxon a ajouté qu’empêcher une course mondiale pourrait nécessiter une interdiction temporaire des efforts visant à améliorer les capacités des modèles. Il a conclu en exhortant les chercheurs des laboratoires à se demander s’ils veulent lancer un entraînement par apprentissage par renforcement visant une superintelligence sans comprendre le système qui en résultera.
BeInCrypto a contacté Anthropic et OpenAI pour obtenir leurs commentaires.
Abonnez-vous à notre chaîne YouTube pour regarder des leaders et des journalistes fournir des analyses d'experts
Source : BeInCrypto
