Your browser does not support JavaScript!

Zależy nam na tym, aby korzystanie z naszego serwisu było dla Państwa komfortowe. W związku z tym staramy się dostosować dostępne w nim treści do Państwa preferencji i zainteresowań. Jest to możliwe dzięki przechowywaniu w Państwa przeglądarkach plików cookies oraz przetwarzaniu przez PromoTraffic Sp.z.o.o. (administratora) danych osobowych w celach analitycznych i statystycznych. Korzystając nadal z naszego serwisu, bez zmian ustawień w zakresie prywatności, wyrażają Państwo zgodę na zapisywanie w przeglądarce plików cookies. Jednocześnie informujemy, że istnieje możliwość zmiany ustawień dotyczące plików cookies w swojej przeglądarce. W celu uzyskania dodatkowych informacji o zasadach przetwarzania danych osobowych oraz przysługujących Państwu w związku z tym prawach prosimy o zapoznanie się z treścią naszej Polityki prywatności

Chcesz prowadzić skuteczne kampanie reklamowe? Dowiedz się więcej o Adwords na sterydach

CRAWL BUDGET, czyli indeksowanie witryny w wynikach wyszukiwania

5 min 1675
Krzysztof Krzeczowski | 17.08.2017

Co to jest crawl budget?

Crawl budget, inaczej budżet indeksowania witryny, to liczba stron, które Googlebot może zaindeksować w serwisie. Jeśli masz witrynę internetową z ponad 1000 adresów URL i tylko garstkę linków zwrotnych, istnieje prawdopodobieństwo, że Googlebot nie zaindeksuje całej witryny.

Oczywiście możesz przesłać mapę witryny i wykonać funkcję pobierania jako Google w Google Search Console i dzięki temu sprawdzić czy twoja witryna jest poprawie zaindeksowana w wynikach wyszukiwania.

Źródło: onsearch.pl

Jeśli ilość zaindeksowanych URL nie jest zbliżona do ilości zgłoszonych adresów URL w mapie witryny, to znaczy, że z jakiegoś powodu coś uniemożliwia poprawną indeksację witryny w wynikach wyszukiwania.

Jak sprawdzić czy Google dobrze indeksuje stronę?

Aby sprawdzić czy witryna jest poprawnie zaindeksowania, przede wszystkim należy zapytać Google, jak to zrobić i wpisać w wyszukiwarkę odpowiednią frazę:

  • Parametr site: – dzięki wpisaniu w adresie wyszukiwarki site:x.pl dostaniesz wszystkie adresy URL, które zaindeksowane są w wynikach wyszukiwania Google.

Dzięki temu możesz sprawdzić, czy ilość zaindeksowanych podstron w miarę odpowiada możliwym adresom na twojej stronie (ilością produktów, kategorii itd.)

Warto również poświecić trochę czasu i sprawdzić, jakie adresy wyświetlają się przy takim zapytaniu, czy nie ma tam niepotrzebnych adresów URL, np. filtrowania czy logowania. Drugim ważnym elementem, na który warto zwrócić uwagę jest sprawdzenie, jak wiele stron indeksuje się każdego dnia. Sprawdzić to można za pomocą Google Search Console.

Zapotrzebowanie na crawl – indeksowanie budżetu dla SEO

Nawet jeśli limit indeksowania nie zostanie osiągnięty, Google może zmniejszyć liczbę stron do przeskanowania. Zmniejszona aktywność z bota nazywa się zmniejszeniem zapotrzebowania na indeksowanie.

Crawl budget składa się z 3 najważniejszych parametrów:

  • Limit współczynnika indeksacji (crawl rate limit) – ograniczenie maksymalnej liczby pobrań danych ze strony.
  • Częstotliwość indeksacji (crawl demand) – określa z jaką częstotliwością witryna ma być indeksowana. Odpowiadają za to takie parametry witryny, jak ruch oraz popularność witryny.
  • Także zdarzenia w całej witrynie (np. ruch w witrynie) mogą powodować wzrost zapotrzebowania na indeksowanie. To dlatego, że Google musi ponownie indeksować treść z nowymi adresami URL.

Czynniki wpływające na budżet indeksowania

  • Parametry w adresach URL

Wszelkiego rodzaju parametry wynikające z filtrowania lub wyszukiwarki wewnętrznej na stronie mogą bardzo ograniczać crawl budget, np. http://mysite.com?id=3. Pomimo poprawnego zastosowania adresów kanonicznych (rel=cannonical), witryna wciąż może zostać niepoprawnie zaindeksowania, gdyż ilość dopisujących się parametrów do adresów URL może przekraczać dopuszczalny limit. Co w takim przypadku należy zrobić?

Przede wszystkim należy przeanalizować, czy jakiekolwiek adresy z parametrami nie generują ruchu na stronie. Jeżeli ilość generowanego przez nie ruchu je znikoma, należy zastosować atrybut <noindex,nofollow>. Znacznie zmniejszy to ilość adresów URL, które robot będzie musiał przeskanować, dzięki czemu zwolni się miejsce na nowe.

  • Nawigacja fasetowa

Bardzo często stosowana jest wśród sklepów internetowych i daje nieskończenie wiele możliwości generowania adresów URL.

Źródło: https://webmasters.googleblog.com

  • Wewnętrzne duplikaty treści

Występują, gdy na naszej stronie pojawia się paginacja (w kategorii produktowych) lub pojawiają się adresy URL z wygenerowanymi dodatkowymi parametrami.

  • Strony 404

Strony zawierające błąd 404 również wpływają na budżet indeksowania. Na szczęście ich wykaz zawsze pojawia się w Google Search Console.

  • Przekierowania 301

Za każdym razem, gdy jedna ze stron w witrynie przekierowuje do innej strony (z przekierowaniem 301 lub 302), wykorzystuje niewielką część budżetu indeksowania. Oznacza to, że jeśli masz wiele przekierowań, budżet indeksowania może się wyczerpać, zanim Googlebot przeszuka stronę, którą chcesz indeksować.

  • Szybkość ładowania witryny

To podstawowe zagadnienie techniczne w pozycjonowaniu witryny. Może okazać się, że w witrynie nadal występuje kilka problemów, które zapobiegają ładowaniu się stron tak szybko, jak to możliwe, na przykład na stronach może występować JavaScript lub CSS. Na pomoc w takich sytuacjach przychodzi narzędzie Google PageSpeed Insights.

  • Mapa witryny

Warto zadbać o to, aby plik mapy witryny był jak najbardziej aktualny, żeby poinformować Google i inne wyszukiwarki o reorganizacji treści witryny. Mapy witryn udostępniają również metadane związane ze stronami, takie jak informacje o ostatniej aktualizacji, częstotliwość zmiany strony oraz znaczenie strony w hierarchii witryny.

Podsumowanie

Optymalizowanie budżetu indeksowania wymaga dość dużej wiedzy technicznej, a im większa jest witryna, tym ważniejsze staje się to zagadnienie. Dzięki powyższym poradom, twoja strona będzie funkcjonowała poprawnie i stanie się bardziej przyjazna dla robotów internetowych.  

Krzysztof Krzeczowski

PromoTraffic

Pełni żalu i bólu zawiadamiamy, że osoby piszącej ten tekst nie ma już wśród nas, pracowników PromoTraffic. Jesteśmy pewni, że doświadczenie zdobyte w naszej firmie sprawiło, że radzi sobie ona wyśmienicie w dalszym życiu zawodowym i wszystko u niej dobrze. Spodobał Ci się ten artykuł? Dołożyliśmy starań, by pozostałe były równie dobre i ciekawe! Piszemy o aktualnych tematach branżowych, śledzimy najnowsze trendy, analizujemy rynek i dzielimy się doświadczeniem. Wpisy na PromoBlogu pojawiają się mniej lub bardziej regularnie, ale nie uświadczycie tu „martwej ciszy”, jesteśmy pełni życia!

Zobacz wszystkie artykuły tego autora
ebook image

Darmowy ebook

Zapisz się do naszego newslettera, a my podeślemy Ci e-booka "od briefingu do kickoffu - Jak dobrze zacząć współpracę (nie tylko z agencją)" bezpośrednio na Twoją skrzynkę.