Skanowanie strony (crawling)

Skanowanie (ang. crawling) to pobieranie stron przez robota wyszukiwarki, takiego jak Googlebot. Jak Google znajduje nowe adresy i co blokuje skanowanie.

Skanowanie (ang. crawling, w żargonie SEO także crawlowanie) to pierwszy etap pracy wyszukiwarki. Robot, w przypadku Google nazywany Googlebotem, pobiera strony z internetu. Nie istnieje centralny rejestr wszystkich stron, więc Google stale szuka nowych adresów: w linkach na stronach, które już zna, i w mapach witryn.

Podczas skanowania Google renderuje stronę i uruchamia kod JavaScript w aktualnej wersji przeglądarki Chrome. Robot stara się nie pobierać stron zbyt szybko, żeby nie przeciążyć serwera, i zwalnia, gdy serwer odpowiada błędami.

Skanowaniem sterujesz w pliku robots.txt. Blokada w tym pliku zatrzymuje robota, ale nie usuwa adresu z wyników: jeśli prowadzą do niego linki z innych stron, Google może pokazać sam adres, bez opisu. Żeby strona nie trafiła do wyników, potrzebna jest reguła noindex, a robot musi mieć do strony dostęp, żeby ją odczytać.

Za częstsze skanowanie nie da się zapłacić. Google pisze, że takich opłat nie przyjmuje.

Powiązane pojęcia

Źródła

  1. Google Search Central: jak działa wyszukiwarka Google
  2. Google Search Central: plik robots.txt, wprowadzenie i przewodnik
  3. Google Search Central: blokowanie indeksowania za pomocą tagu noindex

Wszystkie pojęcia