Crawl-budget

Crawl-budget — budżet indeksowania, czyli liczba podstron danej domeny, którą Google jest w stanie zaindeksować. Pojęcia tego używa się też do określenia czasu i liczby zapytań, jakie robot wyszukiwarki zadaje witrynie w celu indeksacji jej podstron. O crawl-budget decydują takie parametry jak crawl rate limit oraz crawl demand. Ten pierwszy to limit współczynnika indeksacji, określający możliwości witryny w tym zakresie i preferencje jej właściciela, a ten drugi to częstotliwość indeksacji, informująca, które adresy URL warte są uwagi crawlera.