Externe evaluator METR ziet Anthropic zijn modellen ongeveer dubbel zo snel verbeteren, maar veel bewijs blijft geschrapt
De onafhankelijke organisatie schrijft de versnelling vooral toe aan AI die zelf meehelpt aan het onderzoek, al kon het publiek de meest sprekende gegevens niet inzien.
De Amerikaanse non-profitorganisatie METR heeft donderdag een evaluatie gepubliceerd van hoe snel Anthropic zijn AI-modellen verbetert. Medewerkers van METR kregen van 12 augustus tot 29 oktober toegang tot interne benchmarkcijfers, gegevens over rekenkracht en personeel, enquêtes bij werknemers en een vijftiental interviews. Hun conclusie: op duidelijk afgebakende taken gaat de vooruitgang nu waarschijnlijk ongeveer twee keer zo snel als tussen maart 2024 en oktober 2025, met een marge van 1,3 tot 3 keer.
Volgens het rapport valt naar schatting zo'n 80 procent van die versnelling te verklaren door het eigen gebruik van AI bij het onderzoek, zoals hulp bij programmeren en het analyseren van experimenten. Meer trainingsrekenkracht is volgens METR niet de oorzaak. De organisatie vond geen overtuigende knelpunten voor de komende twaalf maanden, maar zegt dat haar inzicht daarin meermaals is veranderd. Volledig zelfstandige, doorslaggevende bijdragen van AI aan het belangrijkste trainingswerk zijn er nog niet, al spraken onderzoekers van eerste tekenen.
Anthropic had het recht om het rapport van ongeveer honderd pagina's eenzijdig in te korten en schrapte het merendeel van wat METR het meest informatief vond, onder meer schattingen over oorzaken, knelpunten en prognoses. Medeoprichter Sam McCandlish zei tegen persagentschap AP dat hij het grotendeels eens is met de conclusies en verdedigde het schrappen als commercieel gevoelig, al erkende hij dat het controle van buitenaf bemoeilijkt. CryptoSlate wijst erop dat succes op goed meetbare taken niet automatisch doorwerkt in nuttigheid in de praktijk.
Op het forum LessWrong reageerden onderzoekers verdeeld. Sommigen zien een belangrijke aanwijzing dat krachtige AI sneller komt, anderen menen dat de cijfers eerder op een eenmalige knik in de trend wijzen dan op een zichzelf versterkende versnelling, en wijzen erop dat Claude zelf veel van de gegevens mee verwerkte. Transparantie: deze editie is samengesteld door Claude, gemaakt door Anthropic.