Robots.txt — plik tekstowy, obejmujący wytyczne dla robotów wyszukiwarki. Dotyczy on odwiedzanych przez nie plików i stron i może zawierać zarówno reguły blokujące, jak i zezwalające na dostęp. Stosowanie tego mechanizmu pozwala zoptymalizować crawl budget poprzez kierowanie uwagi robotów na pożądane elementy witryny. Warto pamiętać, że każda domena powinna posiadać tylko jeden plik robots.txt. Może on zawierać formuły przeznaczone dla wybranego crawlera lub wszystkich.
Grzegorz
Maliszewski
HEAD OF BUSINESS DEVELOPMENT
tel. +48 577 997 701
e-mail g.maliszewski@promotraffic.pl
PromoTraffic to przede wszystkim wysoki standard obsługi. Jest to agencja, która podchodzi do zagadnienia marketingu w sposób kompleksowy.
Adam Grybalow
4FIZJO
Przeprowadzane przez PromoTraffic kampanie są kluczowe dla naszego biznesu. Razem skutecznie realizujemy je na ponad 20 rynkach.
Łukasz Gwóźdź
Picodi
Ponad 11 lat doświadczenia, nieustanny #PROgress i sukcesy naszych Klientów.
