1 op de 5 Nederlandse websites blokkeert AI-zoekmachines: check jouw vindbaarheid

1 op de 5 Nederlandse websites blokkeert AI-zoekmachines: check jouw vindbaarheid

AI-zoekmachines als ChatGPT, Gemini en Perplexity worden steeds vaker gebruikt om antwoorden te vinden. Klanten stellen vragen als "wie bouwt de beste WordPress-website in Rotterdam" of "wat kost SEO-optimalisatie in Nederland" en krijgen een antwoord op basis van wat de AI kan lezen. Maar nieuw Nederlands onderzoek toont aan: ruim 1 op de 5 populaire sites blokkeert die AI-crawlers volledig. Meestal zonder dat de eigenaar het beseft.

Op 1 en 10 juli 2026 scande Writgo Media de 500 populairste Nederlandse websites op hun robots.txt-instellingen. De resultaten zijn op 6 juli 2026 gepubliceerd op Frankwatching en staan integraal op writgo.nl. Van de 398 bereikbare domeinen blokkeert 22,4 procent minstens één AI-crawler. Bij de eerste meting in juni 2026 was dat nog 21,1 procent. Het cijfer stijgt dus licht, terwijl AI-gebruik juist explodeert.

Welke bots worden het vaakst geblokkeerd

De meest geblokkeerde crawler is GPTBot, de trainingsbot van OpenAI die ChatGPT voedt. 17,6 procent van de onderzochte sites zet de deur volledig dicht voor GPTBot. Daarna volgt CCBot, de crawler van Common Crawl die datasets levert voor veel taalmodellen (17,1 procent), en Bytespider van ByteDance (15,1 procent). Ook ClaudeBot, Google-Extended, PerplexityBot en Applebot-Extended worden door meer dan 10 procent van de sites geblokkeerd.

Wat opvalt is dat 63 procent van de blokkeerders precies dezelfde set bots tegelijk buitensluit: GPTBot, ClaudeBot en CCBot in één identiek regelblok. Dat wijst niet op bewuste afwegingen per bot, maar op een standaardtekst die ooit is gekopieerd en daarna nooit meer is bekeken.

Veel van die regels stammen uit 2023, toen GPTBot de enige naam was die rondging. Latere crawlers zoals OAI-SearchBot (de bot die jouw site citeert in een live ChatGPT-antwoord) en ChatGPT-User (de bot die live pagina's ophaalt tijdens een antwoord) zijn nooit aan het blok toegevoegd. Het resultaat: sites blokkeren wel de trainingsbot, maar laten de citeerbot met rust. Soms bewust, maar vaak is het toeval.

Nieuwsmedia doen het bewust, jij misschien niet

Bij de grote nieuwsmedia is het blokkeren van AI-crawlers een bewuste keuze. NOS, NU.nl, AD, RTL Nieuws, de Volkskrant, Trouw en Het Parool blokkeren elk 10 van de 11 onderzochte AI-crawlers. Hun verdienmodel is het artikel zelf. Als een AI-assistent het antwoord samenvat zonder dat de gebruiker doorklikt naar de bron, verdampt de advertentie-inkomst. Daarom houden ze de poort dicht zolang de auteursrechtdiscussie niet is beslecht.

Voor jou als ondernemer, zzp'er of mkb-bedrijf is het tegenovergestelde waar. Jij wilt juist dat de AI je noemt. Een vermelding in ChatGPT of Gemini levert bezoekers, aanvragen en klanten op. Toch staan in de scan tientallen niet-media-sites met precies hetzelfde dichtgetimmerde robots.txt-bestand als dat van de NOS. Zij hebben die blokkade klakkeloos overgenomen, zonder te beseffen dat een nieuwssite een heel ander belang heeft bij AI dan een dienstverlener.

Open deur, lege kamer

Wie de crawlers wél toelaat, heeft een volgend probleem. Van de 78 procent die AI binnenlaat, geeft bijna niemand de bots iets bruikbaars. Slechts 1,5 procent van de onderzochte sites heeft FAQ-schema op de homepage: gestructureerde vraag-antwoord-markup waar een AI-assistent een vraag precies op een antwoord kan matchen. Slechts 6 procent heeft een tabel op de homepage, het formaat dat een model het makkelijkst letterlijk overneemt.

Ruim de helft (51,3 procent) heeft wel andere structured data, zoals generiek schema of een sitemap. Maar de stap van "ik heb schema" naar "ik heb het schema dat AI aan mijn antwoord koppelt" heeft bijna niemand gezet. En dat terwijl een kleine niche-vergelijkingssite van de onderzoekers aantoonbaar kliks uit ChatGPT binnenkrijgt, puur door FAQ-schema aan te zetten, vragen als kop te gebruiken en een tabel neer te zetten. Geen groot budget, geen geheime techniek, gewoon een paar bewuste keuzes.

Hoe je dit zelf checkt en oplost

De meeste sites hebben hun robots.txt nooit bewust ingericht. De blokkade is geërfd uit een standaardtemplate of uit een voorbeeld van een andere site. De kans dat jouw website AI-crawlers buitensluit zonder dat je het weet, is reëel.

Een paar stappen die je vandaag kunt zetten:

• Open jouw robots.txt (meestal op jouwsite.nl/robots.txt) en zoek naar Disallow-regels voor GPTBot, ClaudeBot, CCBot, Google-Extended en PerplexityBot. Staat er een blokkade? Dan is de kans groot dat die nooit bewust is gekozen.
• Wil je OpenAI blokkeren voor training maar wel zichtbaar zijn in ChatGPT-zoekresultaten? Laat OAI-SearchBot en ChatGPT-User dan expliciet open. Dat zijn de bots die jouw site citeren in een antwoord.
• Controleer of je überhaupt een sitemap hebt. Bijna de helft van de sites heeft die niet. Een AI-model kan alleen citeren wat een crawler heeft kunnen vinden.
• Herschrijf je belangrijkste koppen als de vraag die je klant stelt. "Onze diensten" wordt "Wat kost SEO-optimalisatie in 2026?". Het antwoord komt er direct onder, in de eerste twee zinnen.
• Voeg FAQ-schema toe aan je belangrijkste pagina's. Je springt meteen van de grootste groep (98,5 procent die het niet doet) naar de kleinste groep die wél vindbaar is voor AI-assistenten.

Wil je zeker weten dat jouw website niet alleen in Google maar ook in AI-zoekmachines vindbaar is? Met professionele SEO-optimalisatie zorgen we dat jouw site aan alle technische eisen voldoet, van robots.txt tot gestructureerde data. Of laat een website op maat bouwen die vanaf dag één is ingericht voor zowel klassieke zoekmachines als AI-assistenten.

Conclusie

Bijna een kwart van de populairste Nederlandse websites blokkeert AI-crawlers, meestal met regels die ooit zijn gekopieerd en daarna nooit meer gecontroleerd. Voor uitgevers is dat een begrijpelijke keuze, voor jou als ondernemer is het een gemiste kans. Check vandaag nog je robots.txt op onbedoelde blokkades, voeg FAQ-schema toe aan je belangrijkste pagina's en zet je koppen om in vragen. De concurrentie heeft het nog niet gedaan, dus je bouwt nu een voorsprong op.