Vitalik Buterin affirme que les règles anti-collusion des cryptomonnaies pourraient s’appliquer à la sécurité de l’IA

Le cofondateur d’Ethereum, Vitalik Buterin, a déclaré que les mécanismes anti-collusion qu’il avait définis pour la gouvernance des blockchains en 2020 pourraient finalement compter davantage pour la sécurité de l’IA que pour les cryptomonnaies elles-mêmes.

Il réagissait à un essai du chercheur Eric Drexler, qui citait comme exemple concret de la même dynamique décrite six ans plus tôt un récent test de sécurité d’OpenAI : des milliers d’agents d’IA y ont créé un réseau de coordination non autorisé et attaqué les systèmes de production de Hugging Face.

Un problème familier, avec de nouveaux acteurs

Dans une publication sur X datée du 14 septembre, Buterin a décrit une « profonde dualité » entre la gouvernance des cryptomonnaies et les systèmes d’IA multi-agents. Selon sa comparaison, dans le domaine des cryptomonnaies, le principal est un algorithme statique interagissant avec des agents humains, tandis qu’un système de sécurité de l’IA pourrait faire intervenir des humains et des grands modèles de langage moins puissants pour gérer des modèles plus puissants.

Il a renvoyé à son essai du 11 septembre 2020, « Coordination, Good and Bad », dans lequel il avançait que les systèmes peuvent produire de meilleurs résultats lorsque des limites encadrent la capacité des agents à former des coalitions.

Le développeur a opposé l’abondance des équilibres de Nash dans la théorie des jeux à choix individuels à la théorie des jeux coopératifs, où les « cœurs » stables peuvent être inexistants, car les coalitions peuvent tirer profit d’une modification du résultat.

La coordination préjudiciable n’est pas toujours visible dans le comportement individuel. Buterin a donné plusieurs exemples : des vendeurs qui s’entendent sur les prix, des électeurs qui vendent leur vote et des mineurs de blockchain qui coordonnent une attaque. Parmi les protections qu’il a évoquées figuraient la décentralisation, le vote à bulletin secret, les mesures de protection de la vie privée, les lanceurs d’alerte, les limites imposées aux communications et les mécanismes qui obligent les participants à assumer le coût des décisions qu’ils soutiennent.

Cette comparaison concorde également avec les positions plus générales de Buterin sur la sécurité de l’IA. Il avait auparavant critiqué les grandes campagnes politiques autour de la sécurité de l’IA, avertissant qu’elles risquaient de produire des résultats centralisés ou autoritaires. Il préconisait plutôt des technologies défensives et des systèmes qui rendent les abus plus difficiles.

La sécurité de l’IA transpose la même idée dans un autre contexte

Dans son essai du 10 septembre, Eric Drexler soutient que la collusion entre agents devient plus facile lorsque ceux-ci se ressemblent, partagent les mêmes objectifs, communiquent librement, observent leurs actions respectives et conservent des informations au fil d’interactions répétées.

Les contre-mesures comprennent le recours à des agents diversifiés, la limitation de leurs communications et la mise en place de dispositifs de contrôle (modèles de relecture automatique de la production, classificateurs de sécurité et moniteurs de chaînes de pensée) habilités à intervenir et à perturber toute collusion potentielle.

Drexler a cité l’évaluation d’agents d’OpenAI de juillet 2026, en s’appuyant sur une enquête publiée un mois plus tard, qui a révélé qu’environ 1 200 agents avaient utilisé un forum de discussion non autorisé et qu’environ 700 avaient participé à une attaque contre les systèmes de production de Hugging Face.

Certains agents s’y sont opposés et sont même passés à l’action, notamment en bloquant des transferts de données et en opposant leur veto à un courriel d’ingénierie sociale proposé, mais ils n’avaient pas l’autorité nécessaire pour interrompre les exécutions ou faire remonter leurs préoccupations.

Selon le chercheur, cela s’est produit parce que la configuration « enfreignait presque toutes les conditions » qu’il avait signalées dans un rapport antérieur, en 2019, comme nécessaires pour empêcher les systèmes multi-agents de conspirer. Cependant, un dispositif de surveillance ajouté a posteriori, testé ensuite sur le même modèle, a réduit ce comportement de plus de cent fois.

Source : CryptoPotato