Home Blog CRAWL BUDGET, czyli indeksowanie witryny w wynikach wyszukiwania

CRAWL BUDGET, czyli indeksowanie witryny w wynikach wyszukiwania

Czas czytania : 3 min
17 sierpnia 2017

Co to jest crawl budget?

Crawl budget, inaczej budżet indeksowania witryny, to liczba stron, które Googlebot może zaindeksować w serwisie. Jeśli masz witrynę internetową z ponad 1000 adresów URL i tylko garstkę linków zwrotnych, istnieje prawdopodobieństwo, że Googlebot nie zaindeksuje całej witryny.

Oczywiście możesz przesłać mapę witryny i wykonać funkcję pobierania jako Google w Google Search Console i dzięki temu sprawdzić czy twoja witryna jest poprawie zaindeksowana w wynikach wyszukiwania.

Źródło: onsearch.pl

Jeśli ilość zaindeksowanych URL nie jest zbliżona do ilości zgłoszonych adresów URL w mapie witryny, to znaczy, że z jakiegoś powodu coś uniemożliwia poprawną indeksację witryny w wynikach wyszukiwania.

Jak sprawdzić czy Google dobrze indeksuje stronę?

Aby sprawdzić czy witryna jest poprawnie zaindeksowania, przede wszystkim należy zapytać Google, jak to zrobić i wpisać w wyszukiwarkę odpowiednią frazę:

Dzięki temu możesz sprawdzić, czy ilość zaindeksowanych podstron w miarę odpowiada możliwym adresom na twojej stronie (ilością produktów, kategorii itd.)

Warto również poświecić trochę czasu i sprawdzić, jakie adresy wyświetlają się przy takim zapytaniu, czy nie ma tam niepotrzebnych adresów URL, np. filtrowania czy logowania. Drugim ważnym elementem, na który warto zwrócić uwagę jest sprawdzenie, jak wiele stron indeksuje się każdego dnia. Sprawdzić to można za pomocą Google Search Console.

Zapotrzebowanie na crawl – indeksowanie budżetu dla SEO

Nawet jeśli limit indeksowania nie zostanie osiągnięty, Google może zmniejszyć liczbę stron do przeskanowania. Zmniejszona aktywność z bota nazywa się zmniejszeniem zapotrzebowania na indeksowanie.

Crawl budget składa się z 3 najważniejszych parametrów:

Czynniki wpływające na budżet indeksowania

Wszelkiego rodzaju parametry wynikające z filtrowania lub wyszukiwarki wewnętrznej na stronie mogą bardzo ograniczać crawl budget, np. http://mysite.com?id=3. Pomimo poprawnego zastosowania adresów kanonicznych (rel=cannonical), witryna wciąż może zostać niepoprawnie zaindeksowania, gdyż ilość dopisujących się parametrów do adresów URL może przekraczać dopuszczalny limit. Co w takim przypadku należy zrobić?

Przede wszystkim należy przeanalizować, czy jakiekolwiek adresy z parametrami nie generują ruchu na stronie. Jeżeli ilość generowanego przez nie ruchu je znikoma, należy zastosować atrybut <noindex,nofollow>. Znacznie zmniejszy to ilość adresów URL, które robot będzie musiał przeskanować, dzięki czemu zwolni się miejsce na nowe.

Bardzo często stosowana jest wśród sklepów internetowych i daje nieskończenie wiele możliwości generowania adresów URL.

Źródło: https://webmasters.googleblog.com

Występują, gdy na naszej stronie pojawia się paginacja (w kategorii produktowych) lub pojawiają się adresy URL z wygenerowanymi dodatkowymi parametrami.

Strony zawierające błąd 404 również wpływają na budżet indeksowania. Na szczęście ich wykaz zawsze pojawia się w Google Search Console.

Za każdym razem, gdy jedna ze stron w witrynie przekierowuje do innej strony (z przekierowaniem 301 lub 302), wykorzystuje niewielką część budżetu indeksowania. Oznacza to, że jeśli masz wiele przekierowań, budżet indeksowania może się wyczerpać, zanim Googlebot przeszuka stronę, którą chcesz indeksować.

To podstawowe zagadnienie techniczne w pozycjonowaniu witryny. Może okazać się, że w witrynie nadal występuje kilka problemów, które zapobiegają ładowaniu się stron tak szybko, jak to możliwe, na przykład na stronach może występować JavaScript lub CSS. Na pomoc w takich sytuacjach przychodzi narzędzie Google PageSpeed Insights.

Warto zadbać o to, aby plik mapy witryny był jak najbardziej aktualny, żeby poinformować Google i inne wyszukiwarki o reorganizacji treści witryny. Mapy witryn udostępniają również metadane związane ze stronami, takie jak informacje o ostatniej aktualizacji, częstotliwość zmiany strony oraz znaczenie strony w hierarchii witryny.

Podsumowanie

Optymalizowanie budżetu indeksowania wymaga dość dużej wiedzy technicznej, a im większa jest witryna, tym ważniejsze staje się to zagadnienie. Dzięki powyższym poradom, twoja strona będzie funkcjonowała poprawnie i stanie się bardziej przyjazna dla robotów internetowych.  

Udostępnij wpis jako PROtip

Porozmawiajmy

Opowiedz nam o swojej marce

Grzegorz
Maliszewski

HEAD OF BUSINESS DEVELOPMENT

tel. +48 577 997 701

e-mail g.maliszewski@promotraffic.pl

PromoTraffic to przede wszystkim wysoki standard obsługi. Jest to agencja, która podchodzi do zagadnienia marketingu w sposób kompleksowy.

Przeprowadzane przez PromoTraffic kampanie są kluczowe dla naszego biznesu. Razem skutecznie realizujemy je na ponad 20 rynkach.

Zaufaj jakości PRO

Ponad 11 lat doświadczenia, nieustanny #PROgress i sukcesy naszych Klientów.