SEO-Agentur-Banner

Crawler (Webcrawler/Spider/Bot) dienen dem sammeln, analysieren und indexieren von Daten und Feeds im Internet. Wenn ein solcher Crawler eine Webseite besucht, ließt er alle Inhalte (Texte) aus, speichert die Informationen in einer Datenbank (Cache) und erfasst alle internen und externen Links die auf dieser Webseite vorhanden sind. Über die gesammelten Informationen können nach und nach alle Webseiten im Internet erfasst werden, sofern sie mindestens einmal von einer anderen Webseite verlinkt sind.

Webcrawler bilden den Grundstein jeder modernen Suchmaschine und benötigen Unmengen an Rechenkapazität weshalb große Suchmaschinen ganze Cluster bereitstellen die die Aufgaben des crawlens übernehmen.

Der Begriff Crawler bürgerte sich erstmals 1994 durch die erste öffentlich erreichbare Suchmaschine „WebCrawler“ ein.

Ein Webseitenbetreiber kann in der Datei robots.txt und in bestimmten Meta-Tags im HTML-Header einem Webcrawler mitteilen, welche Seiten er indizieren soll und welche nicht, sofern sich der Crawler an das Protokoll hält.

Zu Olaf Kopp

Olaf Kopp ist international anerkannter Online-Marketing-Experte mit mehr als 15 Jahren Erfahrung im Online-Marketing, Google Ads, SEO und Content Marketing. Olaf Kopp ist Co-Founder, Chief Business Development Officer (CBDO) und Head of SEO bei der Aufgesang GmbH. Er ist Autor, Podcaster und anerkannter Branchenexperte für semantische SEO, E-A-T, Online- und Content-Marketing-Strategien entlang der Customer Journey und digitale Markenbildung. Olaf Kopp ist Mitgründer und Moderator des Content-Marketing-Podcasts Content-Kompass. Kopp ist Autor des Buches “Content-Marketing entlang der Customer Journey” und Mitorganisator des SEAcamp. Als begeisterter Suchmaschinen- und Content-Marketer schreibt er für diverse Fachmagazine, u.a. Search Engine Land, t3n, Website Boosting, suchradar, Hubspot ... und war als Gastautor in diverse Buch-Veröffentlichungen involviert. Sein Blog zählt laut diversen Fachmedien und Branchenstimmen zu den besten Online-Marketing-Blogs in Deutschland. Zudem engagiert sich Olaf Kopp als Speaker für SEO und Content Marketing in Bildungseinrichtungen sowie Konferenzen wie z.B. der Hochschule Hannover, SMX, CMCx, OMT, OMX, Campixx… Olaf Kopp ist Suchmaschinen-Marketer, Content-Marketer und Customer-Journey-Enthusiast, bewegt sich als Schnittstelle zwischen verschiedenen Marketing-Welten und baut Brücken immer eine nutzerzentrierte Strategie im Auge.
herausgegeben von:
Datum: 18. Februar 2011

Blog-Artikel zu diesem Thema