Sprawdź adres według reguł z robots.txt
Jedna linijka w robots.txt może zatrzymać skanowanie całej witryny przez Google. Tester sprawdza adres według Twoich reguł tak, jak opisuje to Google: wybiera grupę dla danego robota, potem regułę, która ma zastosowanie, i pokazuje, czy adres jest dozwolony. Test działa w Twojej przeglądarce, więc wpisane reguły i adresy nie trafiają na nasze serwery.
Działa w przeglądarce. To, co tu wkleisz, nigdzie nie jest wysyłane.
Jak z niego korzystać
Wklej reguły
Skopiuj zawartość swojego pliku robots.txt albo reguły, które chcesz dodać.
Podaj adres i robota
Wpisz ścieżkę na tym samym hoście, na przykład /blog/moj-artykul, i nazwę robota, na przykład Googlebot.
Przeczytaj wynik
Zobaczysz, czy adres jest dozwolony, czy zablokowany, i która reguła o tym zdecydowała.
Jak Google czyta reguły
Grupa
Roboty Google stosują grupę z najbardziej szczegółowym pasującym do nich polem user-agent, a pozostałe grupy pomijają.
Reguła
W wybranej grupie wygrywa najbardziej szczegółowa reguła, czyli ta z najdłuższą ścieżką. Gdy reguły allow i disallow są sprzeczne, Google stosuje najmniej restrykcyjną.
Symbole i wielkość liter
Gwiazdka oznacza dowolny ciąg znaków, a znak dolara koniec adresu. W ścieżkach liczy się wielkość liter.
Inne roboty
Tester działa według dokumentacji Google. Google zaznacza, że roboty innych wyszukiwarek mogą odczytywać te same reguły inaczej.
Pytania
Czy blokada w robots.txt usuwa stronę z Google?
Nie. robots.txt steruje skanowaniem. Zablokowany adres może trafić do indeksu bez opisu, jeśli linkują do niego inne witryny. Żeby strona nie pojawiała się w wynikach, użyj reguły noindex i zostaw stronę dostępną dla robota.
Czy plik firma.pl/robots.txt obowiązuje też na blog.firma.pl?
Nie. Reguły obowiązują tylko na hoście, protokole i porcie, na których leży plik. Każda subdomena potrzebuje własnego robots.txt.
Jak szybko Google zauważy zmianę?
Google zwykle przechowuje plik robots.txt w pamięci podręcznej do 24 godzin. W pilnych przypadkach możesz poprosić o ponowne pobranie pliku w raporcie dotyczącym pliku robots.txt w Search Console.
Co się dzieje, gdy robots.txt zwraca błąd?
Jeśli plik zwraca błąd 4xx inny niż 429, Google działa tak, jakby pliku nie było, i skanuje bez ograniczeń. Jeśli serwer zwraca błąd 5xx, Google przez pierwsze 12 godzin wstrzymuje skanowanie witryny i próbuje pobrać plik ponownie.
Wszystkie darmowe narzędzia
Znajdź zwroty, przez które tekst brzmi jak z automatu
Wklej tekst i sprawdź, które typowe wzorce pisania AI w nim są, od „nie tylko X, ale także Y” po zdania-zamknięcia. Darmowy test oparty na liście humanizer.
Powiedz Google, która strona jest dla którego języka
Podaj wersje językowe strony i dostań tagi hreflang, w których każda wersja wskazuje siebie i wszystkie pozostałe, z poprawnymi kodami języków i regionów.
Sprawdź tytuł i opis według wskazówek Google
Sprawdź tytuł strony i metaopis według wskazówek Google: opisowo, konkretnie, bez upychania słów kluczowych i bez szablonów. Darmowe narzędzie.
Dane strukturalne bez ręcznego pisania kodu
Wypełnij kilka pól i dostań kod danych strukturalnych JSON-LD do wklejenia na stronę, w formacie zalecanym przez Google. Do tego: co dają, a czego nie.
Sprawdź tytuł i opis, zanim je opublikujesz
Wpisz tytuł i metaopis, a zobaczysz, jak mniej więcej może wyglądać Twoja strona w wynikach Google i gdzie długi tekst może zostać ucięty. Darmowe narzędzie.
Publikacja, która pilnuje podstaw
Ranketto publikuje artykuły na Twojej stronie i dba o aktualną mapę witryny i wersje językowe. Publikuje tylko w domenach z potwierdzoną własnością.
Rejestracja jeszcze nie ruszyła. Do tego czasu możesz śledzić dane ranketto.com z Google Search Console.