Indeksowanie
Indeksowanie to etap, w którym Google analizuje pobraną stronę i zapisuje ją w bazie. Ile trwa, jak je sprawdzić i czemu nie każda strona trafia do indeksu.
Indeksowanie to drugi z trzech etapów działania wyszukiwarki Google, po skanowaniu i przed wyświetlaniem wyników. Google analizuje wtedy tekst, obrazy i filmy na stronie i zapisuje informacje o niej w indeksie, czyli dużej bazie danych. Tylko zindeksowana strona może pojawić się w wynikach.
Google nie indeksuje wszystkich przeskanowanych stron i nie gwarantuje zindeksowania nawet stron zgodnych z jego zasadami. W dokumentacji podaje, że indeksowanie trwa od kilku dni do kilku tygodni. Pomoc Search Console dodaje, że po prośbie o zindeksowanie trwa to zwykle jeden dzień, ale może się wydłużyć.
Stan indeksowania sprawdzisz w Search Console. Narzędzie do sprawdzania adresów URL pokazuje go dla pojedynczej strony, a raport Indeksowanie stron dla całej witryny. Google radzi nie oczekiwać, że do indeksu trafią wszystkie adresy, i pilnować przede wszystkim najważniejszych stron.
Żeby strona nie trafiła do indeksu, używa się reguły noindex. Plik robots.txt służy do czegoś innego: steruje skanowaniem.