Googlebot
Googlebot to robot wykorzystywany przez wyszukiwarkę Google. Jego celem jest przeglądanie stron w internecie oraz gromadzenie informacji na ich temat. Dzięki tej wnikliwej analizie tworzy indeks wyszukiwania dla swojej wyszukiwarki. Istnieje możliwość wykluczenia określonych podstron, aby nie były indeksowane, wystarczy je zablokować poprzez plik robots.txt.
Czym jest Googlebot?
Googlebot jest niezwykle zaawansowany i działa na podstawie algorytmów. Decydują one, które strony odwiedzić, jak często i ile stron pobierać z każdej witryny. Algorytmy te są tajemnicą handlową Google. Googlebot częściej odwiedza witryny ze zmieniającą się treścią niż te, które są statyczne. Robot jest szczególnie skupiony na nowych stronach i zmianach na już istniejących. Dzięki temu indeks Google jest stale aktualizowany i odzwierciedla najnowszą zawartość internetu.