Der Google Bot aka. Googles Webcrawler ist ein Programm das Webseiten und Inhalte indexiert und über die Google Web-/Bildersuche auffindbar macht. Wie oft der Google Bot eine Seite besucht, hängt unter anderem davon ab, wie viele externe Links auf diese Seite verweisen, wie hoch ihr PageRank ist und vor allem wie dynamisch und aktuell die Inhalte sind. Die zwei Hauptkriterien für den Crawler sind die Datei robots.txt und die Robots-Anweisungen in HTML-Meta-Tags.

 

SEMrush
Verfasst von: Olaf Kopp
Datum: 18. Februar 2011

Blog-Artikel zu diesem Thema

Google kann Inhalte aus Iframes erkennen und indexieren

Kann Google Inhalte, die per Iframe in eine Website integriert sind lesen? Diese Frage stellt sich vielen SEOs schon lange. Anhand eines Beispiels möchte ich erläutern, dass Google es wohl kann und per Iframe eingebundene Inhalte auch indexiert. Dabei möchte ich darauf verweisen, dass sich meine ... Artikel anzeigen