AI-training uitzetten via robots.txt: Google, Microsoft, OpenAI en Anthropic steunen één regel

Wil je niet dat AI-bedrijven je websiteteksten gebruiken om hun modellen te trainen? Dan moest je tot nu toe voor elk bedrijf een eigen regel in je robots.txt zetten. Dat wordt waarschijnlijk eenvoudiger. Volgens meerdere vakmedia hebben Google, Microsoft, OpenAI en Anthropic op 30 oktober 2026 aangekondigd dat ze één gedeelde regel willen ondersteunen om AI-training te weigeren. Google schreef er zelf over in een bericht op de Search Central Blog.

Wat is er precies aangekondigd?

De regel is gebaseerd op werk van de IETF, de organisatie die internetstandaarden ontwikkelt. Daar werkt de groep AIPREF aan een gedeelde manier om voorkeuren over AI-gebruik van content aan te geven. Het gaat om een zogeheten token met de naam __usage_ai-training. Dat token wordt in de bestaande User-Agent-regel van je robots.txt gezet. Er komt dus geen nieuwe syntax bij, wat het voor sitebeheerders overzichtelijk houdt.

Volgens Search Engine Land en SEroundtable geldt voor Google het volgende: als je het gedeelde token gebruikt om AI-training te weigeren en je niets zegt over Google-Extended, behandelt Google dat alsof je Google-Extended hebt geblokkeerd met Disallow. De bestaande regels per bedrijf blijven gewoon bestaan.

Wanneer gaat dit werken?

Niet vandaag. Google wil de gedeelde voorkeur volgens de berichtgeving in 2027 ondersteunen, in de eerste maanden van dat jaar. De uitrol kan per bedrijf verschillen en meedoen is vrijwillig. Ook is het token nog geen vastgestelde standaard. Het komt uit een individueel voorstel dat bij de IETF wordt besproken, en de bijbehorende concepten zijn nog Internet-Drafts. De precieze formulering kan dus nog veranderen. Hoe het nu staat, zie je op ppc.land en in de concepttekst van de IETF.

Wat het niet doet

Een voorkeur in robots.txt is een verzoek, geen technische blokkade. Bedrijven die zich eraan houden, laten je content links liggen. Partijen die zich er niet aan houden, kunnen je pagina's nog steeds ophalen. Crawlers bewaren je robots.txt bovendien tot 24 uur in het geheugen, dus een wijziging werkt niet direct.

Belangrijk is ook het verschil tussen trainen en zoeken. Het token gaat over het trainen van AI-modellen. Het is niet bedoeld om je uit zoekresultaten of AI-antwoorden te weren. Als je wilt dat ChatGPT, Gemini of Perplexity je website kunnen noemen, mag je zoekcrawlers niet blokkeren. Dat gaat vaker mis dan je denkt, zoals we eerder beschreven in ons artikel over Nederlandse websites die AI-zoekmachines blokkeren.

Wat kun je als ondernemer nu doen?

1. Open je robots.txt. Ga naar jouwdomein.nl/robots.txt en lees wat er staat. Veel sites hebben regels die een plugin of ontwikkelaar ooit heeft toegevoegd.
2. Bepaal wat je wilt. Wil je dat AI-bedrijven je teksten niet gebruiken om te trainen, maar wel dat je vindbaar blijft in AI-zoekmachines? Dat zijn twee aparte keuzes.
3. Gebruik de bestaande regels als je nu al wilt weigeren. Google-Extended is de huidige manier om Google te vragen je content niet voor bepaalde AI-doeleinden te gebruiken. Andere bedrijven hebben eigen crawlernamen, die je in hun documentatie vindt.
4. Wacht met het nieuwe token tot de definitieve versie er is. Omdat de tekst nog kan wijzigen, is het verstandig om pas te implementeren als de bedrijven de ondersteuning echt hebben uitgerold.
5. Houd je website in de gaten. Controleer na elke aanpassing of je belangrijke pagina's nog gewoon bereikbaar zijn voor zoekmachines.

Wat betekent dit voor jouw website?

Voor de meeste kleine ondernemers is dit nog geen reden tot haast. Wel is het een goed moment om bewust te kiezen. Je robots.txt is een van de weinige plekken waar je zelf bepaalt hoe bots met je site omgaan. Een verkeerde regel kan je vindbaarheid schaden, een ontbrekende regel kan betekenen dat je content ongevraagd wordt gebruikt.

Bij SEO-optimalisatie kijken we ook naar technische punten als robots.txt, zodat je niet per ongeluk zoekmachines buitensluit. Meer nieuws over AI en online vindbaarheid lees je op onze nieuwspagina.

Bronnen: Google Search Central Blog, Search Engine Land, SEroundtable, Engadget, ppc.land. Wij konden de bronpagina's niet rechtstreeks openen, de details zijn gebaseerd op samenvattingen uit zoekresultaten.