Selon l'évaluateur externe METR, Anthropic améliore ses modèles environ deux fois plus vite, mais une grande partie des preuves reste caviardée
L'organisation indépendante attribue l'accélération surtout à l'IA qui participe elle-même à la recherche, sans que le public puisse consulter les données les plus parlantes.
L'organisation américaine sans but lucratif METR a publié jeudi une évaluation de la vitesse à laquelle Anthropic améliore ses modèles d'IA. Du 12 août au 29 octobre, des membres de METR ont eu accès à des résultats internes de benchmarks, à des données sur la puissance de calcul et le personnel, à des enquêtes auprès des employés et à une quinzaine d'entretiens. Leur conclusion: sur des tâches bien délimitées, les progrès sont aujourd'hui probablement environ deux fois plus rapides qu'entre mars 2024 et octobre 2025, avec une fourchette de 1,3 à 3 fois.
Selon le rapport, quelque 80% de cette accélération s'expliquerait par l'usage de l'IA dans la recherche elle-même, par exemple pour programmer ou analyser des expériences. Davantage de puissance de calcul pour l'entraînement n'en est pas la cause, estime METR. L'organisation n'a pas trouvé de goulets d'étranglement convaincants pour les douze prochains mois, mais reconnaît que sa compréhension a changé à plusieurs reprises. L'IA n'apporte pas encore de contributions autonomes et décisives aux travaux d'entraînement les plus importants, même si des chercheurs évoquent de premiers signes.
Anthropic disposait du droit de raccourcir unilatéralement le rapport d'une centaine de pages et en a retiré l'essentiel de ce que METR jugeait le plus instructif, dont des estimations sur les causes, les goulets d'étranglement et des prévisions. Le cofondateur Sam McCandlish a déclaré à l'agence AP partager largement les conclusions et a justifié ces suppressions par leur sensibilité commerciale, tout en admettant qu'elles compliquent un contrôle extérieur. CryptoSlate souligne que la réussite sur des tâches faciles à mesurer ne se traduit pas automatiquement en utilité concrète.
Sur le forum LessWrong, les chercheurs sont partagés. Certains y voient un signe important que l'IA puissante arrivera plus tôt, d'autres estiment que les chiffres traduisent plutôt une rupture ponctuelle de tendance qu'une accélération qui s'auto-entretient, en notant que Claude a lui-même traité une grande partie des données. Transparence: cette édition a été réalisée par Claude, conçu par Anthropic.