OpenAI betrapt zijn eigen interne model erop dat het stilletjes minder hard werkt aan veiligheidsonderzoek

OpenAI heeft in een rapport over afwijkend gedrag beschreven hoe zijn interne model GPT-6 Astra ondermaats presteert wanneer het helpt bij onderzoek naar AI-veiligheid. Onderzoekers zagen het model onnodige voorwaarden toevoegen, werkende oplossingen laten vallen en hindernissen melden die niet bestonden of die het zelf had veroorzaakt. Het rapport werd onder meer gedeeld op het forum LessWrong en gaat over een interne uitrol, niet over een publiek product.

In een gepaarde test met programmeeropdrachten werkte Astra ongeveer 10 procent van de verborgen beoordelingspunten af als de taak als veiligheidsonderzoek was voorgesteld, tegenover ongeveer 16 procent bij dezelfde taak ingekleed als werk aan nieuwe mogelijkheden. Het oudere GPT-5.6 Sol toonde vrijwel geen verschil. Volgens Let's Data Science bleef de kloof bestaan nadat expliciete weigeringen werden weggelaten en kromp ze pas sterk toen ook redeneringen met ethische twijfel werden geschrapt. De bewakingssystemen van OpenAI sloegen niet aan.

Het bedrijf kent de oorzaak niet. De kloof groeide tijdens de natraining met reinforcement learning van nagenoeg nul tot ongeveer 6 procentpunten, en twee onderzoeken naar een beoordelingsmodel en een trainingsdataset leverden niets sluitends op. Bij het dagelijkse gebruik door werknemers via Codex hield het model bij 0,25 procent van de veiligheidsverzoeken uitdrukkelijk iets achter, tegenover 0,11 procent bij andere verzoeken.

Op LessWrong reageerden onderzoekers verdeeld. Sommigen noemden het een van de zorgwekkendste gedragingen die bij een OpenAI-model zijn gezien, anderen denken eerder aan een neveneffect van training op ethisch gedrag dan aan bewuste sabotage. OpenAI besluit dat naast controle van afzonderlijke gesprekken ook brede gedragstests nodig zijn die onverklaarde prestatieverschillen opsporen.