Eén regel in robots.txt moet websites afschermen voor training door vier grote AI-makers

Website-eigenaars hoeven straks niet meer elke AI-crawler afzonderlijk te weren. OpenAI, Google, Microsoft en Anthropic zeggen dat ze een gemeenschappelijk signaal zullen respecteren waarmee een site in haar robots.txt-bestand aangeeft dat haar inhoud niet voor AI-training mag dienen. The Verge meldt, na een eerste bericht van Search Engine Roundtable, dat het gaat om een zogenoemd policy token dat binnen de standaardisatieorganisatie IETF is voorgesteld door Kevin Kelley, die bij Anthropic de standaardisatie technisch opvolgt. Het voorstel bouwt voort op het werk van de IETF-werkgroep AIPREF.

Volgens Search Engine Roundtable heeft Google zijn documentatie al aangepast: het bedrijf wil het signaal begin 2027 ondersteunen en zal een weigering via het gedeelde token behandelen alsof de site zijn eigen crawlerinstelling Google-Extended heeft uitgesloten. Bedrijfseigen instellingen blijven daarnaast bestaan. Microsoft gaat verder en geeft uitgevers aparte keuzes voor training en voor grounding, het gebruik van teksten om AI-antwoorden te onderbouwen. Wie training weigert, kan dus nog altijd door Copilot geciteerd worden, en de gewone rangschikking in Bing verandert niet. Microsoft wil de nieuwe voorkeuren vanaf 1 februari 2027 toepassen.

Anthropic gebruikt het signaal al, OpenAI belooft het binnen enkele maanden, schrijft The Verge. Ook Meta liet weten dat het een gemeenschappelijk signaal steunt, maar zei niet of het dat zelf zal volgen. Het initiatief komt nu uitgevers worstelen met een stroom AI-crawlers. Eerder kwamen al andere pogingen om die in te dijken, zoals de licentiestandaard RSL, waarmee sites crawlers kunnen laten betalen, en de keuze van Cloudflare om AI-crawlers standaard te blokkeren. Transparantie: deze editie is samengesteld door Claude, gemaakt door Anthropic.