Home Blog CRAWL BUDGET, czyli indeksowanie witryny w wynikach wyszukiwania

CRAWL BUDGET, czyli indeksowanie witryny w wynikach wyszukiwania

Krzysztof Krzeczowski

Czas czytania : 3 min

17 sierpnia 2017

Optymalizacja SEO

Co to jest crawl budget?

Crawl budget, inaczej budżet indeksowania witryny, to liczba stron, które Googlebot może zaindeksować w serwisie. Jeśli masz witrynę internetową z ponad 1000 adresów URL i tylko garstkę linków zwrotnych, istnieje prawdopodobieństwo, że Googlebot nie zaindeksuje całej witryny.

Oczywiście możesz przesłać mapę witryny i wykonać funkcję pobierania jako Google w Google Search Console i dzięki temu sprawdzić czy twoja witryna jest poprawie zaindeksowana w wynikach wyszukiwania.

Źródło: onsearch.pl

Jeśli ilość zaindeksowanych URL nie jest zbliżona do ilości zgłoszonych adresów URL w mapie witryny, to znaczy, że z jakiegoś powodu coś uniemożliwia poprawną indeksację witryny w wynikach wyszukiwania.

Jak sprawdzić czy Google dobrze indeksuje stronę?

Aby sprawdzić czy witryna jest poprawnie zaindeksowania, przede wszystkim należy zapytać Google, jak to zrobić i wpisać w wyszukiwarkę odpowiednią frazę:

Parametr site: – dzięki wpisaniu w adresie wyszukiwarki site:x.pl dostaniesz wszystkie adresy URL, które zaindeksowane są w wynikach wyszukiwania Google.

Dzięki temu możesz sprawdzić, czy ilość zaindeksowanych podstron w miarę odpowiada możliwym adresom na twojej stronie (ilością produktów, kategorii itd.)

Warto również poświecić trochę czasu i sprawdzić, jakie adresy wyświetlają się przy takim zapytaniu, czy nie ma tam niepotrzebnych adresów URL, np. filtrowania czy logowania. Drugim ważnym elementem, na który warto zwrócić uwagę jest sprawdzenie, jak wiele stron indeksuje się każdego dnia. Sprawdzić to można za pomocą Google Search Console.

Zapotrzebowanie na crawl – indeksowanie budżetu dla SEO

Nawet jeśli limit indeksowania nie zostanie osiągnięty, Google może zmniejszyć liczbę stron do przeskanowania. Zmniejszona aktywność z bota nazywa się zmniejszeniem zapotrzebowania na indeksowanie.

Crawl budget składa się z 3 najważniejszych parametrów:

Limit współczynnika indeksacji (crawl rate limit) – ograniczenie maksymalnej liczby pobrań danych ze strony.
Częstotliwość indeksacji (crawl demand) – określa z jaką częstotliwością witryna ma być indeksowana. Odpowiadają za to takie parametry witryny, jak ruch oraz popularność witryny.
Także zdarzenia w całej witrynie (np. ruch w witrynie) mogą powodować wzrost zapotrzebowania na indeksowanie. To dlatego, że Google musi ponownie indeksować treść z nowymi adresami URL.

Czynniki wpływające na budżet indeksowania

Parametry w adresach URL

Wszelkiego rodzaju parametry wynikające z filtrowania lub wyszukiwarki wewnętrznej na stronie mogą bardzo ograniczać crawl budget, np. http://mysite.com?id=3. Pomimo poprawnego zastosowania adresów kanonicznych (rel=cannonical), witryna wciąż może zostać niepoprawnie zaindeksowania, gdyż ilość dopisujących się parametrów do adresów URL może przekraczać dopuszczalny limit. Co w takim przypadku należy zrobić?

Przede wszystkim należy przeanalizować, czy jakiekolwiek adresy z parametrami nie generują ruchu na stronie. Jeżeli ilość generowanego przez nie ruchu je znikoma, należy zastosować atrybut <noindex,nofollow>. Znacznie zmniejszy to ilość adresów URL, które robot będzie musiał przeskanować, dzięki czemu zwolni się miejsce na nowe.

Nawigacja fasetowa

Bardzo często stosowana jest wśród sklepów internetowych i daje nieskończenie wiele możliwości generowania adresów URL.

Źródło: https://webmasters.googleblog.com

Wewnętrzne duplikaty treści

Występują, gdy na naszej stronie pojawia się paginacja (w kategorii produktowych) lub pojawiają się adresy URL z wygenerowanymi dodatkowymi parametrami.

Strony 404

Strony zawierające błąd 404 również wpływają na budżet indeksowania. Na szczęście ich wykaz zawsze pojawia się w Google Search Console.

Przekierowania 301

Za każdym razem, gdy jedna ze stron w witrynie przekierowuje do innej strony (z przekierowaniem 301 lub 302), wykorzystuje niewielką część budżetu indeksowania. Oznacza to, że jeśli masz wiele przekierowań, budżet indeksowania może się wyczerpać, zanim Googlebot przeszuka stronę, którą chcesz indeksować.

Szybkość ładowania witryny

To podstawowe zagadnienie techniczne w pozycjonowaniu witryny. Może okazać się, że w witrynie nadal występuje kilka problemów, które zapobiegają ładowaniu się stron tak szybko, jak to możliwe, na przykład na stronach może występować JavaScript lub CSS. Na pomoc w takich sytuacjach przychodzi narzędzie Google PageSpeed Insights.

Mapa witryny

Warto zadbać o to, aby plik mapy witryny był jak najbardziej aktualny, żeby poinformować Google i inne wyszukiwarki o reorganizacji treści witryny. Mapy witryn udostępniają również metadane związane ze stronami, takie jak informacje o ostatniej aktualizacji, częstotliwość zmiany strony oraz znaczenie strony w hierarchii witryny.

Podsumowanie

Optymalizowanie budżetu indeksowania wymaga dość dużej wiedzy technicznej, a im większa jest witryna, tym ważniejsze staje się to zagadnienie. Dzięki powyższym poradom, twoja strona będzie funkcjonowała poprawnie i stanie się bardziej przyjazna dla robotów internetowych.