Sprawdź adres według reguł z robots.txt

Jedna linijka w robots.txt może zatrzymać skanowanie całej witryny przez Google. Tester sprawdza adres według Twoich reguł tak, jak opisuje to Google: wybiera grupę dla danego robota, potem regułę, która ma zastosowanie, i pokazuje, czy adres jest dozwolony. Test działa w Twojej przeglądarce, więc wpisane reguły i adresy nie trafiają na nasze serwery.

Tester potrzebuje JavaScriptu, żeby działać w przeglądarce.

Tester stosuje zasady, które Google opisuje dla robots.txt. Inne roboty mogą czytać plik inaczej.

Działa w przeglądarce. To, co tu wkleisz, nigdzie nie jest wysyłane.

Jak z niego korzystać

  1. Wklej reguły

    Skopiuj zawartość swojego pliku robots.txt albo reguły, które chcesz dodać.

  2. Podaj adres i robota

    Wpisz ścieżkę na tym samym hoście, na przykład /blog/moj-artykul, i nazwę robota, na przykład Googlebot.

  3. Przeczytaj wynik

    Zobaczysz, czy adres jest dozwolony, czy zablokowany, i która reguła o tym zdecydowała.

Jak Google czyta reguły

  • Grupa

    Roboty Google stosują grupę z najbardziej szczegółowym pasującym do nich polem user-agent, a pozostałe grupy pomijają.

  • Reguła

    W wybranej grupie wygrywa najbardziej szczegółowa reguła, czyli ta z najdłuższą ścieżką. Gdy reguły allow i disallow są sprzeczne, Google stosuje najmniej restrykcyjną.

  • Symbole i wielkość liter

    Gwiazdka oznacza dowolny ciąg znaków, a znak dolara koniec adresu. W ścieżkach liczy się wielkość liter.

  • Inne roboty

    Tester działa według dokumentacji Google. Google zaznacza, że roboty innych wyszukiwarek mogą odczytywać te same reguły inaczej.

Pytania

Czy blokada w robots.txt usuwa stronę z Google?

Nie. robots.txt steruje skanowaniem. Zablokowany adres może trafić do indeksu bez opisu, jeśli linkują do niego inne witryny. Żeby strona nie pojawiała się w wynikach, użyj reguły noindex i zostaw stronę dostępną dla robota.

Czy plik firma.pl/robots.txt obowiązuje też na blog.firma.pl?

Nie. Reguły obowiązują tylko na hoście, protokole i porcie, na których leży plik. Każda subdomena potrzebuje własnego robots.txt.

Jak szybko Google zauważy zmianę?

Google zwykle przechowuje plik robots.txt w pamięci podręcznej do 24 godzin. W pilnych przypadkach możesz poprosić o ponowne pobranie pliku w raporcie dotyczącym pliku robots.txt w Search Console.

Co się dzieje, gdy robots.txt zwraca błąd?

Jeśli plik zwraca błąd 4xx inny niż 429, Google działa tak, jakby pliku nie było, i skanuje bez ograniczeń. Jeśli serwer zwraca błąd 5xx, Google przez pierwsze 12 godzin wstrzymuje skanowanie witryny i próbuje pobrać plik ponownie.

Wszystkie darmowe narzędzia

Publikacja, która pilnuje podstaw

Ranketto publikuje artykuły na Twojej stronie i dba o aktualną mapę witryny i wersje językowe. Publikuje tylko w domenach z potwierdzoną własnością.

Rejestracja jeszcze nie ruszyła. Do tego czasu możesz śledzić dane ranketto.com z Google Search Console.