SEO-Agentur-Banner

Crawler (Webcrawler/Spider/Bot) dienen dem sammeln, analysieren und indexieren von Daten und Feeds im Internet. Wenn ein solcher Crawler eine Webseite besucht, ließt er alle Inhalte (Texte) aus, speichert die Informationen in einer Datenbank (Cache) und erfasst alle internen und externen Links die auf dieser Webseite vorhanden sind. Über die gesammelten Informationen können nach und nach alle Webseiten im Internet erfasst werden, sofern sie mindestens einmal von einer anderen Webseite verlinkt sind.

Webcrawler bilden den Grundstein jeder modernen Suchmaschine und benötigen Unmengen an Rechenkapazität weshalb große Suchmaschinen ganze Cluster bereitstellen die die Aufgaben des crawlens übernehmen.

Der Begriff Crawler bürgerte sich erstmals 1994 durch die erste öffentlich erreichbare Suchmaschine „WebCrawler“ ein.

Ein Webseitenbetreiber kann in der Datei robots.txt und in bestimmten Meta-Tags im HTML-Header einem Webcrawler mitteilen, welche Seiten er indizieren soll und welche nicht, sofern sich der Crawler an das Protokoll hält.

Premium-Content

Zu Olaf Kopp

Olaf Kopp ist Co-Founder, Chief Business Development Officer (CBDO) und Head of SEO der Aufgesang GmbH . Im Fokus seiner Arbeit stehen die Themen digitaler Markenaufbau, Online- und Content-Marketing-Strategien entlang der Customer-Journey und semantische Suchmaschinenoptimierung. Er ist Autor des Buchs "Content-Marketing entlang der Customer Journey", Mitveranstalter des SEAcamps und Moderator des Podcasts Content-Kompass. Von 2012 bis 2015 war er Geschäftsführer. Als begeisterter Suchmaschinen- und Content-Marketer schreibt er für diverse Fachmagazine, u.a. t3n, Website Boosting, suchradar, Hubspot ... und war als Gastautor in diverse Buch-Veröffentlichungen involviert. Sein Blog zählt laut diversen Fachmedien und Branchenstimmen zu den besten Online-Marketing-Blogs in Deutschland. Zudem engagiert sich Olaf Kopp als Speaker für SEO und Content Marketing in Bildungseinrichtungen sowie Konferenzen wie z.B. der Hochschule Hannover, SMX, CMCx, OMT, OMX, Campixx… Olaf Kopp ist Suchmaschinen-Marketer, Content-Marketer und Customer-Journey-Enthusiast, bewegt sich als Schnittstelle zwischen verschiedenen Marketing-Welten und baut Brücken immer eine nutzerzentrierte Strategie im Auge.
herausgegeben von: Olaf Kopp
Datum: 18. Februar 2011

Blog-Artikel zu diesem Thema