Crawlbudget is de hoeveelheid tijd en middelen die zoekmachines zoals Google besteden aan het crawlen van jouw website. Dit bepaalt hoeveel pagina’s worden geïndexeerd.
Een goed crawlbudget zorgt ervoor dat alle belangrijke pagina’s van je website geïndexeerd worden. Grote websites met veel pagina’s moeten hun crawlbudget optimaliseren door middel van interne links, sitemaps en het vermijden van dubbele content.
Voorbeelden zijn het beperken van redirects, het verwijderen van oude of irrelevante pagina’s en het gebruiken van robots.txt om minder belangrijke pagina’s uit te sluiten. Dit helpt zoekmachines efficiënter te werken.
