| Googlebot | |
|---|---|
| Tyyppi | Etsi robotti |
| Tekijä | |
| Kehittäjä | |
| Verkkosivusto | google.com/support/webma... |
Googlebot on Googlen indeksointirobotti , jota käytetään Internetin indeksoimiseen ja Googlen hakuhakemiston täyttämiseen . Robotti alkaa indeksoida jokaista yksittäistä sivustoa saamalla luettelon aiemmista istunnoista luoduista verkkosivujen URL-osoitteista ja täydentää sitä sivustokarttatiedostojen tiedoilla. sivuja selatessaan robotti etsii linkkejä (SRC ja HREF) ja lisää ne indeksoitavien sivujen luetteloon.
Verkkovastaavat voivat ohjata robottia robots.txt -tiedoston komennolla tai sisällönkuvauskentällä <meta name="Googlebot" content="nofollow" />. Googlen Webmaster Tools -luettelossa on mahdollista tarkistaa robotin "näkemys" sivustosta. Bottien IP-osoitteet muuttuvat ajoittain.
Indeksoiessaan Googlebot määrittää user-agentin: