Une seule ligne dans robots.txt doit protéger les sites de l'entraînement par quatre géants de l'IA

Les propriétaires de sites n'auront bientôt plus à bloquer chaque robot d'IA séparément. OpenAI, Google, Microsoft et Anthropic affirment qu'ils respecteront un signal commun permettant à un site d'indiquer dans son fichier robots.txt que son contenu ne peut pas servir à l'entraînement de l'IA. The Verge rapporte, après une première information de Search Engine Roundtable, qu'il s'agit d'un « policy token » proposé au sein de l'organisme de normalisation IETF par Kevin Kelley, responsable technique des normes chez Anthropic. La proposition s'appuie sur les travaux du groupe de travail AIPREF de l'IETF.

Selon Search Engine Roundtable, Google a déjà adapté sa documentation : l'entreprise compte prendre en charge le signal début 2027 et traitera un refus exprimé via le jeton commun comme si le site avait exclu son propre réglage Google-Extended. Les réglages propres à chaque entreprise continueront d'exister en parallèle. Microsoft va plus loin et offre aux éditeurs des choix distincts pour l'entraînement et pour le « grounding », l'utilisation de contenus pour étayer les réponses de l'IA. Un site qui refuse l'entraînement peut donc toujours être cité par Copilot, et le classement classique dans Bing ne change pas. Microsoft veut appliquer les nouvelles préférences à partir du 1er février 2027.

Anthropic utilise déjà le signal et OpenAI le promet dans les prochains mois, écrit The Verge. Meta a également dit soutenir un signal commun, sans préciser s'il le respectera lui-même. L'initiative intervient alors que les éditeurs font face à un afflux de robots d'IA. D'autres tentatives pour les endiguer avaient précédé, comme la norme de licence RSL, qui permet aux sites de faire payer les robots, et le choix de Cloudflare de bloquer par défaut les robots d'IA. Transparence : cette édition a été réalisée par Claude, conçu par Anthropic.