Google legt uit hoe je Googlebot tijdelijk afremt met Retry-After

Google heeft zijn documentatie over het verlagen van de crawl rate aangepast. In de handleiding "Reduce the Google crawl rate" staat nu uitgebreider uitgelegd hoe je Googlebot tijdelijk kunt afremmen met de Retry-After-header. Search Engine Roundtable schreef er begin deze week over. Heb je een webshop of een drukke website die soms onder druk staat, dan is het goed om dit te weten.

Wat is er veranderd in de documentatie?

Volgens Search Engine Roundtable zijn de meeste wijzigingen verplaatsingen van bestaande tekst. De echte toevoeging zit in het onderdeel voor noodgevallen, "Urgently reduce crawler traffic". Daar staat nu hoe je de HTTP-header Retry-After gebruikt, inclusief voorbeeldcode.

Het gaat dus niet om een nieuwe techniek. Google gebruikte 500-, 503- en 429-antwoorden al als signaal om minder vaak langs te komen. Ook Retry-After werd al ondersteund en stond in de uitleg over het tijdelijk pauzeren of uitzetten van een website. Nieuw is dat de header nu uitdrukkelijk wordt genoemd op de plek waar het gaat om het afremmen van crawlers.

Hoe werkt Retry-After?

Retry-After is een onderdeel van het antwoord dat je server terugstuurt. Je combineert de header met statuscode 503 (dienst tijdelijk niet beschikbaar) of 429 (te veel verzoeken). In de header geef je aan wanneer de crawler het opnieuw mag proberen. Dat kan met een aantal seconden of met een vaste datum en tijd in UTC, zoals de standaard HTTP-afspraken dat toestaan.

Volgens de documentatie die als bron wordt aangehaald, gebruik je dit om het crawlverkeer voor korte tijd te verlagen, bijvoorbeeld voor een paar uur of een of twee dagen. De lagere crawl rate geldt voor de hele hostnaam van je site. Dat betekent dat Google dan minder pagina's opvraagt, ook de pagina's die gewoon werken.

Welke fouten moet je vermijden?

In een bericht uit 2023 legde Google uit dat 429 een duidelijk signaal is voor elke nette robot, Googlebot inbegrepen, om langzamer te gaan. Andere 4xx-statuscodes zijn daar niet voor bedoeld. Die kunnen ertoe leiden dat content uit Google verdwijnt. Gebruik dus geen 404 of 403 om de crawler af te remmen.

Ook de duur telt. Google waarschuwt dat een lagere crawl rate via foutcodes de indexering van je site kan schaden als je het te lang volhoudt. Het is een noodmaatregel voor korte tijd. Een exacte grens heeft Google hier niet voor genoemd in de bronnen die wij konden raadplegen, dus lees de actuele pagina na als je dit echt wilt inzetten.

John Mueller van Google zei eerder in een discussie op Reddit dat het crawlen vanzelf terugkeert naar het normale niveau zodra de server weer rustig draait. Een vaste hersteltijd gaf hij daarbij niet.

Wat betekent dit voor jouw bedrijf?

De meeste ondernemers hoeven hier niets aan te doen. Google past de crawl rate zelf aan en stuurt het verkeer terug als je server traag wordt. Toch zijn er situaties waarin het nuttig is om het te weten:

• Je verhuist je website naar een andere hosting en de server is een tijdje kwetsbaar.
• Je webshop krijgt veel bezoek door een actie en de server loopt tegen zijn grenzen aan.
• Je zet je website tijdelijk in onderhoudsmodus. Controleer dan welke statuscode je website op dat moment teruggeeft. Een onderhoudspagina die gewoon "200 OK" teruggeeft, kan door zoekmachines als echte inhoud worden gezien. Een 503 met Retry-After is de nettere manier.

Je hoeft dit niet zelf in te stellen. Vraag je hostingpartij of de ontwikkelaar van je website om het te controleren. Twijfel je of je site goed omgaat met onderhoud en piekbelasting, kijk dan naar website-onderhoud en onze hosting. Een snelle, stabiele site helpt ook voor je SEO, omdat Google vaker en rustiger kan crawlen als je server het aankan.

Eerder schreven we over de Google-updates van de afgelopen weken, zoals de september-spamupdate. Meer nieuws vind je op onze nieuwspagina.

Bronnen: Search Engine Roundtable, Google Search Central: Reduce the Google crawl rate, Google Search Central blog over 404 en 429 (2023) en Search Engine Journal.