Optimalizace crawl budgetu pomáhá rychlejší indexaci důležitých stránek.
Crawl budget je pojem, který popisuje, kolik stránek a jak často si vyhledávač (např. Googlebot) prochází na vašem webu. U menších webů to většinou není problém, ale u větších webů může být crawl budget omezený.
Ovlivňují ho dva hlavní faktory:
- Crawl rate limit – jak rychle robot může stránky procházet
- Crawl demand – jak velký zájem má vyhledávač o daný web
Pro efektivní využití crawl budgetu je dobré:
- odstranit zbytečné nebo duplicitní stránky
- zajistit správné přesměrování (např. 301)
- minimalizovat chyby (např. 404 nebo 500)