robots.txt
robots.txt to plik, w którym mówisz robotom wyszukiwarek, które adresy mogą pobierać. Do czego służy, czego nie robi i jak Google czyta jego reguły.
Plik robots.txt informuje roboty wyszukiwarek, do których adresów w witrynie mają dostęp. Leży w katalogu głównym, na przykład pod adresem firma.pl/robots.txt, i obowiązuje tylko na hoście, protokole i porcie, na których się znajduje. Subdomena blog.firma.pl potrzebuje więc własnego pliku.
Google pisze, że robots.txt służy głównie do tego, żeby roboty nie przeciążały witryny żądaniami. Nie ukryjesz nim strony przed Google: zablokowany adres może trafić do wyników bez opisu, jeśli prowadzą do niego linki z innych stron. Do ukrycia strony służy reguła noindex albo hasło.
Reguły są zebrane w grupy dla konkretnych robotów (User-agent) i składają się z poleceń Allow i Disallow. Gdy do adresu pasuje kilka reguł, Google stosuje najbardziej szczegółową, czyli tę z najdłuższą ścieżką. Gdy reguły są sprzeczne, wybiera najmniej restrykcyjną. Google obsługuje symbole * i $ i czyta plik do 500 KiB, a resztę ignoruje.
Które pliki robots.txt Google znalazł w Twojej witrynie i kiedy je ostatnio pobrał, pokazuje raport dotyczący pliku robots.txt w Search Console.