robots.txt

robots.txt to plik, w którym mówisz robotom wyszukiwarek, które adresy mogą pobierać. Do czego służy, czego nie robi i jak Google czyta jego reguły.

Plik robots.txt informuje roboty wyszukiwarek, do których adresów w witrynie mają dostęp. Leży w katalogu głównym, na przykład pod adresem firma.pl/robots.txt, i obowiązuje tylko na hoście, protokole i porcie, na których się znajduje. Subdomena blog.firma.pl potrzebuje więc własnego pliku.

Google pisze, że robots.txt służy głównie do tego, żeby roboty nie przeciążały witryny żądaniami. Nie ukryjesz nim strony przed Google: zablokowany adres może trafić do wyników bez opisu, jeśli prowadzą do niego linki z innych stron. Do ukrycia strony służy reguła noindex albo hasło.

Reguły są zebrane w grupy dla konkretnych robotów (User-agent) i składają się z poleceń Allow i Disallow. Gdy do adresu pasuje kilka reguł, Google stosuje najbardziej szczegółową, czyli tę z najdłuższą ścieżką. Gdy reguły są sprzeczne, wybiera najmniej restrykcyjną. Google obsługuje symbole * i $ i czyta plik do 500 KiB, a resztę ignoruje.

Które pliki robots.txt Google znalazł w Twojej witrynie i kiedy je ostatnio pobrał, pokazuje raport dotyczący pliku robots.txt w Search Console.

Powiązane pojęcia

Źródła

  1. Google Search Central: plik robots.txt, wprowadzenie i przewodnik
  2. Google: jak Google interpretuje specyfikację pliku robots.txt
  3. Pomoc Search Console: raport dotyczący pliku robots.txt

Wszystkie pojęcia