Googlebot

Der Googlebot ist ein automatisches Programm von Google, das Websites prüft und sie dem googleeigenen Index hinzufügt. Es handelt sich dabei in Wirklichkeit um zahllose Instanzen eines Programmes, die auf unzähligen Rechnern weltweit gleichzeitig laufen und täglich Milliarden von Websites untersuchen. Diesen Prozess nennt man Crawling, die Programme auch Webcrawler.
Ziel des Crawlens ist es, den Inhalt der Suchmaschinen so aktuell wie möglich zu halten. Crawler überprüfen, ob sich Inhalte geändert haben oder ob Links veraltet sind. Der Googlebot erkennt Links zu anderen Sites und fügt diese der Liste der zu prüfenden Sites hinzu. Laut Google greift der Bot im Durchschnitt einmal alle paar Sekunden auf eine Website zu. Zurzeit läuft die Entwicklung zur Erfassung dynamischer Webinhalte durch Crawler.