OpenAI stelt een gratis detector voor beelden van kindermisbruik open voor andere bedrijven
Het hulpmiddel herkent ook door AI gemaakte beelden; wie in ChatGPT zulke inhoud probeert op te vragen, wordt voortaan een dag geschorst.
OpenAI heeft een beeldclassificator uitgebracht die materiaal van seksueel kindermisbruik moet opsporen, ook beelden die door AI gemaakt zijn en nog nergens geregistreerd staan. Volgens TechCrunch geeft het systeem elk beeld een score die moderatoren helpt beslissen wat ermee moet gebeuren. Het werd ontwikkeld met het Amerikaanse National Center for Missing and Exploited Children (NCMEC). Geselecteerde bedrijven krijgen gratis toegang via de API, en OpenAI werkt met de Tech Coalition en ROOST om die toegang te verspreiden.
In tests met partners markeerde de classificator 48 procent minder beelden en vond hij toch evenveel misbruikmateriaal, meldt TechCrunch, waardoor gemarkeerde beelden twee keer zo vaak effectief misbruik bevatten. Dat scheelt werk voor wie de beelden moet nakijken. Uit de ontwikkelaarsdocumentatie van OpenAI blijkt dat organisaties een aanvraag moeten indienen, een identiteitscontrole via Persona moeten doorlopen en voorwaarden moeten aanvaarden. Diezelfde documentatie wijst erop dat het gewone moderatiemodel van OpenAI in die categorie enkel tekst beoordeelt en geen beelden.
Wie in ChatGPT inhoud probeert te verkrijgen die kinderen seksualiseert, krijgt voortaan een waarschuwing, een verwijzing naar gespecialiseerde hulp en een schorsing van 24 uur; bij herhaling kan het account definitief verdwijnen. Die berichten zijn opgesteld met Protect Children, de Lucy Faithfull Foundation en onderzoeker Joel Scanlan van de Universiteit van Tasmanië. TechCrunch wijst erop dat OpenAI verwikkeld is in meerdere rechtszaken over schade aan gebruikers, vooral kinderen.