Home Blog HTTP Header i SEO. Co trzeba wiedzieć?

HTTP Header i SEO. Co trzeba wiedzieć?

Łukasz Zontek

Czas czytania : 3 min

28 marca 2022

SEO

Osiągnięcie wysokich pozycji w wyszukiwarkach internetowych stanowi od kilku lat jedną z wiodących form reklamy internetowej. Im wyżej nasza strona będzie znajdować się pod dane zapytanie, tym większa szansa na pozyskanie użytkowników i konwersję. Niestety, proces pozycjonowania stron z roku na rok stanowi dla pozycjonerów coraz większe wyzwanie, a każdy szczegół może determinować sukces w wyszukiwarkach internetowych.

Techniczne SEO to podstawa, jeżeli chcemy osiągnąć lepsze wyniki niż konkurencja. Niestety, nie zawsze zalecenia z audytu SEO są realne do wprowadzenia. Przeszkodą może być na przykład rodzaj systemu CMS czy ograniczony dostęp do plików źródłowych. Wyobraźmy sobie sytuację: potrzebujemy nadać tag kanoniczny lub noindex,nofollow dla adresów URL, które nie powinny się indeksować (mogą to być przykładowo filtry czy parametry sortowania), natomiast modyfikacje w kodzie nam to utrudniają. W tej sytuacji z pomocą przychodzi nagłówek HTTP wraz ze zwracanymi informacjami.

Nagłówki HTTP – czym są?

Nagłówki HTTP zawierają dodatkowe informacja, które są przesyłane pomiędzy komputerem użytkownika a serwerem. Dokładniej, będzie to przesyłanie informacji na przykład pomiędzy przeglądarką a stroną internetową. Nagłówki HTTP zwracają następujące dyrektywy:

HTTP Referer – dyrektywa zwracająca informację o adresie odsyłającym (w analityce wykorzystywana do określania źródła wizyt)
USER Agent – aplikacja określająca lokalizację, z której nastąpiło odwołanie do urządzenia (np. Googlebot)
X-Robots-Tag – informacja dla robotów wyszukiwarek o zasobach, które mają być indeksowalne, a które nie
Server – informacja na temat serwera (np. Apatche)
Cache-control – informacja zawierająca dane opisujące zasoby zapisywane w pamięci podręcznej (często wykorzystywane do optymalizacji pod Core Web Vitals).

Nagłówki HTTP a ich zastosowanie w SEO

O zastosowaniu nagłówków HTTP oraz zwracanych przez nie informacji można wymieniać bardzo dużo przykładów. Natomiast w tym artykule przyjrzymy się zastosowaniu, które może wspomóc proces technicznego SEO i całej optymalizacji. W tym przypadku warto wziąć pod uwagę dyrektywę X-Robots-Tag oraz Server.

Pomimo tego, że informacje uzyskane z dyrektywy Server nie są zbyt skomplikowane czy rozbudowane, to jednak mocno wpływają na przebieg dalszych działań optymalizacyjnych. Dokładniej mówiąc – określi nam typ serwera, ponieważ inaczej będzie wyglądać optymalizacja na serwerach Apache, inaczej na Nginx, a jeszcze inaczej na innym typie serwera. Dzięki temu będziemy wiedzieli na przykład, z jaką dokumentacją warto się zapoznać albo u jakiego specjalisty szukać wsparcia.

W kolejnym kroku do optymalizacji SEO wykorzystamy X-Robots-Tag.

X-Robots-Tag

Dyrektywa X-Robots-Tag jest dyrektywną indeksatora. Stanowi odpowiedź nagłówka HTTP. Dyrektywa dodawana jest z poziomu serwera na przykład poprzez plik .htaccess, jeżeli będzie to serwer typu Apatche. X-Robots-Tag jest ustawiany na podstawie strony/elementu bądź wspólnego parametru w adresie URL. Dyrektywa przekazuje nofollow oraz noindex z poziomu nagłówka HTTP, więc nie będzie ona widoczna w plikach źródłowych strony.

Jak nadać noindex,nofollow za pomocą dyrektywy X-Robots-Tag?

W zależności o typu serwera, dyrektywa może być deklarowana w różny sposób. Poniżej znajdują się dwie podstawowe metody oparte o plik .htaccess oraz PHP:

PHP – poniższy kod dodajemy do pliku header.php. Poniższy kod działa globalnie, więc jeżeli chcemy zastosować go do określonych podstron to należy dopisać warunkowanie w języku php:

header(“X-Robots-Tag: noindex, nofollow”, true);
.htaccess – bardziej praktyczne i szybsze rozwiązanie to dodanie kilku komend do pliku .htaccess. Poniżej kody, które usprawnią nam optymalizację budżetu indeksowania:

– Blokowanie indeksacji plików typu doc,pdf,xls

<FilesMatch “.doc$”>

Header set X-Robots-Tag “noindex, noarchive, nosnippet”

</FilesMatch>

– Blokowanie adresów URL z parametrami

RewriteCond %{QUERY_STRING} (?dir=|?order=|?sort=|?limit=|?query=|?q=)

RewriteRule .* – [E=NOINDEX_HEADER:1]

Header set X-Robots-Tag “noindex, nofollow” env=REDIRECT_NOINDEX_HEADER

– Kanonikalizacja adresów URL

RewriteRule ([^/]+).pdf$ – [E=FILENAME:$1]

<FilesMatch “.pdf$”>

Header add Link ‘<http://www.example.com/download/%{FILENAME}e>; rel=”canonical”‘

</FilesMatch>

Weryfikacja kodów odpowiedzi nagłówka

Jeżeli chcemy zweryfikować poprawność wdrożenia bądź nie możemy w kodzie strony znaleźć meta tagów blokujących, pomimo że dana podstrona jest wykluczona, to warto skorzystać z jednego z dwóch poniższych narzędzi:

Pierwszy sposób to skorzystanie z wtyczki go przeglądarki Google Chrome znajdującej się pod tym linkiem:

Drugi to wykorzystanie narzędzi online takich jak na przykład https://websniffer.cc

Podsumowanie

Korzystanie z dyrektyw nagłówka HTTPS to idealne rozwiązanie, jeżeli mamy problem z osadzeniem noindex,nofollow dla adresów URL, które generowane są dynamicznie bądź mamy ograniczony dostęp do plików źródłowych. Wykluczanie zasobów z indeksacji jest istotne pod kątem optymalizacji budżetu indeksowania.