Skanowanie strony (crawling)
Skanowanie (ang. crawling) to pobieranie stron przez robota wyszukiwarki, takiego jak Googlebot. Jak Google znajduje nowe adresy i co blokuje skanowanie.
Skanowanie (ang. crawling, w żargonie SEO także crawlowanie) to pierwszy etap pracy wyszukiwarki. Robot, w przypadku Google nazywany Googlebotem, pobiera strony z internetu. Nie istnieje centralny rejestr wszystkich stron, więc Google stale szuka nowych adresów: w linkach na stronach, które już zna, i w mapach witryn.
Podczas skanowania Google renderuje stronę i uruchamia kod JavaScript w aktualnej wersji przeglądarki Chrome. Robot stara się nie pobierać stron zbyt szybko, żeby nie przeciążyć serwera, i zwalnia, gdy serwer odpowiada błędami.
Skanowaniem sterujesz w pliku robots.txt. Blokada w tym pliku zatrzymuje robota, ale nie usuwa adresu z wyników: jeśli prowadzą do niego linki z innych stron, Google może pokazać sam adres, bez opisu. Żeby strona nie trafiła do wyników, potrzebna jest reguła noindex, a robot musi mieć do strony dostęp, żeby ją odczytać.
Za częstsze skanowanie nie da się zapłacić. Google pisze, że takich opłat nie przyjmuje.