Home Blog Crawl budget – czym jest i dlaczego jest istotny?

Crawl budget – czym jest i dlaczego jest istotny?

Michał Smajek

Czas czytania : 4 min

30 marca 2022

Wyszukiwarka Google z roku na rok aktywnie modyfikuje swoje algorytmy tak, aby móc jak najbardziej precyzyjnie dopasować wyniki wyszukiwania na zapytanie użytkownika i dostarczyć mu pożądane informacje. Obecność witryny w indeksie Google to bezwzględna podstawa, aby osiągnąć wysokie pozycje na wybrane słowa kluczowe.

Pozycjonowanie strony będzie mieć realny wpływ na zwiększenie przychodów, jeżeli w pierwszej kolejności zadbamy o techniczne SEO. Oczywiście, nie należy zapominać o treściach czy pozyskiwaniu linków, jednak nie wybudujemy domu bez porządnych fundamentów. Żeby Google indeksowało i na bieżąco odświeżało treści w indeksie wyszukiwarki musimy zadbać o crawl budget.

Z tego artykułu dowiesz się:

czym jest crawl budget
co się na niego składa
jakie czynniki wpływają na crawl budget.

Czym jest crawl budget – Definicja

Crawl budget bądź też budżet indeksowania jest to liczba adresów URL, jakie wyszukiwarka Google może zaindeksować w danej witrynie. Crawl budget to kluczowy element decydujący o budowania pozycji słów kluczowych dla Twojej strony internetowej. Jeżeli crawl budget nie zostanie poprawnie zoptymalizowany, wyszukiwarka Google nie będzie docierał na przykład do nowo dodanych treści – w wyniku czego widoczność witryny nie będzie rosła.

Składniki składające się na crawl budget

Niestety, Google w swoich materiałach nie udziela bezpośrednich informacji na temat budżetu indeksowania.Naprowadza natomiast na dwie kolejne definicje związane ze skalą i częstotliwością wizyt robota na naszej witrynie.

Crawl rate limit

Craw rate limit jest to liczba równoległych połączeń, których Google używa do indeksowania witryny. Czynnik crawl rate limit bierze pod uwagę wydajność serwera – im wolniejszy serwer tym mniejsza skuteczność indeksacji.

Dane dotyczące crawl rate limit można znaleźć w Google Search Console.

Crawl demand

Crawl demand jest to czynnik, który określa, jakie podstrony i w jakiej ilości Google chce odwiedzać i indeksowaniać danego dnia. Jeżeli robot uzna dany adres URL za ważny to albo go zaindeksuje, odświeży bądź umieści w swoim harmonogramie.

Google podejmuje decyzję na podstawie kilku czynników:

Popularność – Jeżeli adresy url są często udostępniane i linkowane, to Google może uznać je za atrakcyjne. Wówczas mogą stać się ważne dla Google, przez co będą częściej indeksowane i odwiedzane przez roboty.

Aktualność – Nie da się ukryć, że Google ceni sobie aktualne treści. Będą one miały wyższy priorytet niż te, które na przykład nie zmieniły się od kilku miesięcy. Dodanie dużej ilości nowych podstron często wymusza na wyszukiwarce przeznaczenie budżetu indeksowania na podstrony, co widać w Search Console w stanie indeksowania.

Jakie czynniki wpływają na crawl budget?

Praca nad crawl budget łączy się z technicznymi aspektami SEO. Poniżej przedstawiam kilka podstawowych czynników, które warto uwzględnić podczas optymalizacji nie tylko budżetu indeksowania, ale także całej witryny:

Serwer – Jakość miejsca przechowywania strony ma znaczenie, ponieważ niska wydajność serwera uniemożliwi przeznaczenia w pełni zasobów na indeksowanie.
Kody odpowiedzi – Mowa tutaj o błędach 404/410. Jeżeli posiadamy dużą ilość stron z błędem 404, to Google będzie przeznaczał na nie zasoby. W efekcie nie skupi się na najważniejszych podstronach serwisu.
Przekierowania 301 – Samo przekierowanie 301 nie stanowi błędu, ale ich nadmierna ilość już tak. Google przechodząc po przekierowaniu może przeznaczać dodatkowy budżet indeksowania, a w wyniku tego może zabraknąć go dla kolejnych adresów url.
Robots.txt – Warto blokować strony, które nie będą brały udziału w pozycjonowaniu oraz podstrony zawierające różne parametry typu: ?search=zapytanie. Dotyczy to wyników wyszukiwania czy filtrów na stronie.
Linkowanie wewnętrzne – Stosujemy nie tylko w kontekście dodatkowej nawigacji dla użytkowników, ale też dla robotów, które przez takie linki przechodzą. Zasada jest prosta – najważniejsze adresy url powinny być podlinkowane wewnętrznie bezpośrednie ze strony głównej, która jest najczęściej odwiedzana przez roboty.
Pliki JS/CSS – Jeżeli mamy na stronie dużą ilość plików JS/CSS to warto te, które nie mają wpływu na renderowanie strony zablokować w pliku robots.txt
Elementy graficzne strony – Warto w pliku robots.txt blokować elementy graficzne strony np. strzałki, tła, które nie biorą udziału w pozycjonowaniu a Google przeznacza na nie budżet indeksowania.
Waga podstrony – Im lżejsza podstrona tym roboty sprawnie ją wyrenderują. Warto pliki html/css/jss minifikować, aby jak najbardziej zaoszczędzić na wadze.

Podsumowanie

Dzisiejsze działania w kontekście pozycjonowania stron nie powinny się odnosić wyłącznie do pozyskiwania linków czy publikacji treści. Oczywiście, jest to istotne, natomiast SEO będzie działać dopiero w momencie, w którym każdy z obszarów posiada odpowiednią optymalizację. Aktualnie crawl budge to fundament skutecznego generowania przychodów z wyników organicznych Google. Temat budżetu indeksowania jest bardzo obszerny, dlatego na blogu będa pojawiać się również artykuły, jak zabrać się za optymalizację techniczną SEO i polepszenie indeksacji adresów URL.