Co je Crawl budget?

Optimalizace crawl budgetu pomáhá rychlejší indexaci důležitých stránek.

Crawl budget je pojem, který popisuje, kolik stránek a jak často si vyhledávač (např. Googlebot) prochází na vašem webu. U menších webů to většinou není problém, ale u větších webů může být crawl budget omezený.

Ovlivňují ho dva hlavní faktory:

  • Crawl rate limit – jak rychle robot může stránky procházet
  • Crawl demand – jak velký zájem má vyhledávač o daný web

Pro efektivní využití crawl budgetu je dobré:

  • odstranit zbytečné nebo duplicitní stránky
  • zajistit správné přesměrování (např. 301)
  • minimalizovat chyby (např. 404 nebo 500)