Overstappen naar een CDN: Google waarschuwt voor crawlpieken en een geblokkeerde Googlebot

Ga je overstappen naar een CDN (content delivery network) om je website sneller te maken? Dan kan er in de eerste dagen iets gebeuren wat je niet verwacht: Googlebot komt ineens veel vaker langs en je eigen server krijgt het zwaar. Google heeft daar op 11 november 2026 een blogartikel over gepubliceerd op Google Search Central, met de titel "Moving to a CDN without overwhelming your origin (or blocking Googlebot)". Er hoort ook een video bij. De belangrijkste waarschuwing: zet in paniek niet zomaar strenge botbescherming aan, want dan sluit je Google mogelijk buiten.

Waarom Googlebot vaker komt na de overstap naar een CDN

Een CDN zet kopieën van je pagina's op servers verspreid over de wereld. Bezoekers krijgen de pagina dan van een server dichtbij, wat sneller is. Volgens Google heeft dat ook effect op het crawlen. Omdat de CDN sneller en stabieler antwoordt, verhoogt Google de hoeveelheid verzoeken die het denkt dat je site aankan. Meerdere vakmedia, waaronder Search Engine Land en Search Engine Roundtable, vatten het zo samen: het crawlverkeer schiet vaak omhoog vlak nadat een site achter een CDN is gezet.

Daar zit het probleem. Een nieuwe CDN begint met een lege cache. Elke eerste aanvraag voor een pagina moet de CDN nog ophalen bij je eigen server, de zogenoemde origin. Pas bij een volgende aanvraag voor dezelfde URL kan de CDN de pagina zelf leveren. Google schrijft dat pas die latere verzoeken direct vanaf de CDN worden geserveerd "without bothering your origin". Zolang de cache nog niet gevuld is, komt dus zowel het verkeer van bezoekers als dat van Googlebot gewoon bij jouw server terecht. Juist op het moment dat Google harder gaat crawlen.

De grootste fout: blanco botbescherming

Wie ziet dat de server het zwaar heeft, grijpt al snel naar de botbescherming in het dashboard van de CDN. Google raadt dat af als je die bescherming over de hele linie aanzet. Zonder uitzondering voor geverifieerde bots blokkeer je dan ook de crawlers van Google. Volgens de berichtgeving kunnen pagina's daardoor uit de zoekresultaten verdwijnen. PPC Land meldt daarnaast dat in de video wordt gewaarschuwd dat producten zo uit Google Shopping kunnen vallen. Voor een webshop die net voor Black Friday van CDN wisselt, is dat een flinke strop.

Search Engine Land noemt specifiek regels in een firewall of CAPTCHA-instellingen die Google's crawlers een 403-melding of een controlepagina tonen. Google ziet dan niet je inhoud, maar een blokkade.

Wat Google wel aanraadt

Uit de verschillende samenvattingen van het artikel komen een paar concrete adviezen naar voren:

• Warm de cache vooraf op. Zorg dat de CDN al kopieën van je belangrijkste pagina's heeft voordat je het verkeer omzet. Dan hoeft er minder naar je eigen server.
• Gebruik de regel voor geverifieerde bots. De meeste grote CDN's en firewalls hebben een kant-en-klare regel voor bekende of geverifieerde bots. Googlebot is te herkennen aan de IP-adressen die Google zelf publiceert.
• Vertrouw niet elke 'Googlebot'. Scrapers doen zich vaak voor als Googlebot. Zet dus niet alles open wat die naam gebruikt, maar laat de CDN controleren of het echt om Google gaat.
• Rem Google tijdelijk af met 429 of 503. Heeft je server echt even lucht nodig, stuur dan voor korte tijd een 429- of 503-statuscode terug. Volgens de berichtgeving gaat het dan om een paar uur, of hooguit een tot twee dagen. Een 403 is daar niet voor bedoeld.

Over die tijdelijke statuscodes schreven we eerder al: Google legde in oktober uit hoe je Googlebot afremt met de Retry-After-header.

Controleer of Google je site nog kan bereiken

Ben je al overgestapt, of staat de overstap gepland? Kijk dan in Google Search Console bij de crawlstatistieken. Zie je daar veel 403- of 429-antwoorden, dan is er iets mis. Met de URL-inspectietool zie je hoe Google een pagina binnenkrijgt en of de CDN de inhoud goed doorgeeft. Ook de logbestanden van je server of CDN laten zien of verzoeken van Googlebot worden tegengehouden.

Gebruik je Cloudflare? Daar speelde eerder ook al een ander probleem: wie AI-crawlers blokkeert, kan per ongeluk Googlebot raken. Lees daarover ons artikel over Cloudflare AI bots en Googlebot.

Wat betekent dit voor jou als ondernemer?

Een CDN is een goede manier om je website sneller te maken, en snelheid helpt zowel je bezoekers als je vindbaarheid. Maar de overstap is meer dan een knop omzetten. Plan hem bij voorkeur niet midden in een drukke verkoopperiode, warm de cache op en controleer na de overstap of Google je pagina's nog gewoon kan ophalen. Laat je de techniek over aan je hostingpartij of webbouwer? Vraag dan expliciet of geverifieerde bots zijn uitgezonderd van de botbescherming.

Wil je dat iemand meekijkt naar de snelheid en bereikbaarheid van je site? Bekijk onze dienst website onderhoud en beheer of laat je vindbaarheid doorlichten met SEO-optimalisatie. Meer actueel nieuws over Google en websites lees je op onze nieuwspagina.

Bronnen: Google Search Central Blog: Moving to a CDN without overwhelming your origin (or blocking Googlebot), Search Engine Land, Search Engine Roundtable, PPC Land, Relevant Audience. Wij konden de bronpagina's niet rechtstreeks openen; de details zijn gebaseerd op samenvattingen uit zoekresultaten.