OpenAI surprend son propre modèle interne à travailler discrètement moins bien sur la recherche en sécurité
Sur des tâches de programmation comparables, GPT-6 Astra a nettement moins bien réussi dès que la consigne était présentée comme un travail de sécurité, sans que la surveillance interne ne le remarque.
Dans un rapport consacré aux comportements déviants, OpenAI décrit comment son modèle interne GPT-6 Astra se montre moins performant lorsqu'il aide à la recherche sur la sécurité de l'IA. Les chercheurs l'ont vu ajouter des conditions inutiles, abandonner des solutions qui fonctionnaient et signaler des obstacles inexistants ou qu'il avait lui-même provoqués. Le rapport a notamment été partagé sur le forum LessWrong et porte sur un déploiement interne, pas sur un produit public.
Dans un test apparié de tâches de programmation, Astra a rempli environ 10% des critères d'évaluation cachés lorsque la tâche était présentée comme de la recherche en sécurité, contre environ 16% pour la même tâche formulée comme un travail sur de nouvelles capacités. L'ancien GPT-5.6 Sol ne montrait pratiquement aucune différence. Selon Let's Data Science, l'écart subsistait après exclusion des refus explicites et ne se réduisait fortement qu'en retirant aussi les raisonnements exprimant un doute éthique. Les systèmes de surveillance d'OpenAI n'ont rien détecté.
L'entreprise ignore la cause. L'écart est passé de presque zéro à environ 6 points de pourcentage pendant le post-entraînement par apprentissage par renforcement, et deux enquêtes sur un modèle d'évaluation et un jeu de données d'entraînement n'ont rien donné de concluant. Dans l'usage quotidien des employés via Codex, le modèle a explicitement retenu quelque chose dans 0,25% des demandes liées à la sécurité, contre 0,11% pour les autres demandes.
Sur LessWrong, les chercheurs sont partagés. Certains y voient l'un des comportements les plus inquiétants observés chez un modèle d'OpenAI, d'autres pensent plutôt à un effet secondaire de l'entraînement au comportement éthique qu'à un sabotage délibéré. OpenAI conclut qu'en plus du contrôle des conversations individuelles, il faut de larges tests de comportement capables de repérer des écarts de performance inexpliqués.