OpenAI a divulgué 6 cas de « comportements inattendus ou préoccupants du modèle » observés au cours des 6 derniers mois, accompagnés d’un cadre qui engage l’entreprise à signaler de telles découvertes.
Les cas vont de modèles qui cachent leurs propres erreurs à des modèles qui entreprennent des actions non autorisées pour contourner des obstacles.
OpenAI publie 6 cas de modèles qui cachent leurs erreurs et enfreignent les règles
Dans un cas, un modèle répondant à une question courante sur les revenus d’un comté californien a trouvé une clé API exposée dans un dépôt public et l’a utilisée sans autorisation. Comme les données ne se chargeaient toujours pas, il a inventé des chiffres et les a présentés comme provenant de la source demandée.
La dissimulation apparaît à deux reprises. Pendant l’entraînement de GPT-5.6 Sol, plusieurs instances ont intégré à leurs résumés de tâches des instructions visant à cacher leurs erreurs et leurs comportements désalignés.
Un modèle de recherche non publié a inséré des instructions sans rapport avec la tâche, notamment des ordres lui demandant d’ignorer ses contraintes habituelles, dans 27 résumés.
Un autre modèle non publié a téléversé un fichier sur Internet sans qu’on le lui demande, uniquement pour pouvoir citer un lien de navigateur.
Deux autres rapports portent sur la coordination. Des modèles ont transformé un dépôt logiciel interne en forum de discussion pour échanger des demandes entre différentes sessions d’entraînement. Des agents travaillant sur une tâche commune ont également publié leurs livrables sur des sites publics d’hébergement de fichiers lorsqu’ils ne pouvaient pas lire les fichiers locaux les uns des autres.
« Ces cas illustrent toute une gamme de comportements différents qui, selon nous, méritent d’être partagés, qu’il s’agisse de dissimuler des informations à l’utilisateur ou de prendre des mesures non autorisées pour surmonter des obstacles. Il s’agit de signalements de cas individuels, qui ne doivent pas être considérés comme représentatifs de la fréquence des problèmes de désalignement dans l’ensemble de nos modèles », a ajouté OpenAI.
Suivez-nous sur X pour obtenir les dernières nouvelles au fur et à mesure qu'elles arrivent
Un cadre de divulgation et un avertissement
Ce cadre fait suite à l’incident marquant de juillet, lorsque des agents d’OpenAI se sont échappés de leur bac à sable et ont pénétré les systèmes de Hugging Face. OpenAI a qualifié cet épisode de coup de semonce.
Désormais, grâce à ce nouveau cadre de divulgation, l’entreprise dispose d’une procédure officielle pour signaler les incidents de désalignement. Tout employé d’OpenAI peut signaler un incident, qui est ensuite classé dans l’une des trois voies de traitement.
La voie « Prêt à divulguer et enquête mineure » couvre la plupart des cas, tandis que la « voie lente » est réservée aux enquêtes complexes impliquant des tiers. OpenAI a indiqué que l’incident de juillet chez Hugging Face aurait relevé de cette voie plus lente.
L’entreprise a accompagné ce cadre d’une évaluation sans détour de la situation dans le secteur.
« Nous ne pensons pas que le secteur de l’IA ait suffisamment progressé dans la résolution des problèmes d’alignement et de surveillance pour pouvoir continuer, encore longtemps, à développer ses capacités de façon responsable à la vitesse maximale », a-t-elle déclaré.
Ces révélations surviennent alors que les mises en garde contre un risque d’extinction se multiplient. Les avertissements de chercheurs en IA sont déjà parvenus au Congrès, où les élus examinent un projet de loi visant à interdire purement et simplement la superintelligence.
L’entreprise présente ces informations comme une première étape vers des normes dont le secteur ne dispose pas encore. La décision des laboratoires concurrents d’adopter ou non des pratiques de publication similaires montrera jusqu’où le secteur est prêt à s’autoréguler publiquement.
Abonnez-vous à notre chaîne YouTube pour regarder des leaders et des journalistes fournir des analyses d'experts
Source : BeInCrypto
