Google Bot
Der Google Bot aka. Googles Webcrawler ist ein Programm das Webseiten und Inhalte indexiert und über die Google Web-/Bildersuche auffindbar macht. Wie oft der Google Bot eine Seite besucht, hängt unter anderem davon ab, wie viele externe Links auf diese Seite verweisen, wie hoch ihr PageRank ist und vor allem wie dynamisch und aktuell die Inhalte sind. Die zwei Hauptkriterien für den Crawler sind die Datei robots.txt und die Robots-Anweisungen in HTML-Meta-Tags.
