Definitie
Crawlbudget is het aantal URL's dat een zoekmachine binnen een bepaalde periode op jouw site wil en kan ophalen. Google bepaalt het uit twee onderdelen: de crawlcapaciteit (hoeveel verzoeken je server aankan zonder te vertragen) en de crawlvraag (hoe interessant en hoe vaak veranderd je pagina's zijn). Samen bepalen ze hoeveel pagina's Googlebot per dag bezoekt en welke.
Voor kleine sites is crawlbudget zelden een probleem: een site met duizend pagina's wordt vanzelf volledig gecrawld. Het wordt relevant vanaf enkele tienduizenden URL's, of eerder als je site veel URL's genereert die niets toevoegen: filtercombinaties in een webshop, interne zoekresultaten, kalenderpagina's, sessie-ID's en parameters voor sortering. Elke minuut die Googlebot daaraan besteedt, gaat niet naar de pagina's die wel belangrijk zijn.
De symptomen van een tekort zie je in Search Console. Onder 'Pagina's' staan dan veel URL's als 'Gevonden, momenteel niet geïndexeerd' of 'Gecrawld, momenteel niet geïndexeerd'; nieuwe pagina's doen er weken over om in de index te komen; en het rapport Crawlstatistieken laat een groot aandeel 404's, redirects of parameters-URL's zien. Serverlogs tonen het nog scherper: welke URL's Googlebot daadwerkelijk opvraagt en hoe vaak.
Crawlbudget verbeter je door de ruis weg te halen en de belangrijke pagina's vindbaar te maken. Blokkeer waardeloze URL-patronen in robots.txt, geef facetten en sorteringen een canonical of noindex, verwijder of redirect kapotte links, zorg voor een snelle serverrespons (TTFB) en houd de XML-sitemap schoon met alleen indexeerbare URL's. Een goede interne linkstructuur zorgt vervolgens dat het budget bij de pagina's terechtkomt die ertoe doen.
AI-crawlers zoals GPTBot, ClaudeBot en PerplexityBot hebben hun eigen budget en zijn vaak minder geduldig dan Googlebot: ze halen minder pagina's op en renderen geen JavaScript. Traze houdt bij welke gepubliceerde pagina's door welke crawlers zijn opgehaald en biedt nieuwe pagina's direct ter indexatie aan, zodat ze niet in de wachtrij blijven hangen.