Was sind Crawler ? Was sind Spider ? Was sind Bots ?

Crawler (Webcrawler/Spider/Bot) dienen dem sammeln, analysieren und indexieren von Daten und Feeds im Internet. Wenn ein solcher Crawler eine Webseite besucht, ließt er alle Inhalte (Texte) aus, speichert die Informationen in einer Datenbank (Cache) und erfasst alle internen und externen Links die auf dieser Webseite vorhanden sind. Über die gesammelten Informationen können nach und nach alle Webseiten im Internet erfasst werden, sofern sie mindestens einmal von einer anderen Webseite verlinkt sind.

Webcrawler bilden den Grundstein jeder modernen Suchmaschine und benötigen Unmengen an Rechenkapazität weshalb große Suchmaschinen ganze Cluster bereitstellen die die Aufgaben des crawlens übernehmen.

Der Begriff Crawler bürgerte sich erstmals 1994 durch die erste öffentlich erreichbare Suchmaschine „WebCrawler“ ein.

Ein Webseitenbetreiber kann in der Datei robots.txt und in bestimmten Meta-Tags im HTML-Header einem Webcrawler mitteilen, welche Seiten er indizieren soll und welche nicht, sofern sich der Crawler an das Protokoll hält.

• Über den Autor/Herausgeber
• Die letzten Beiträge

Zu Olaf Kopp

Olaf Kopp ist Online-Marketing-Experte mit mehr als 15 Jahren Erfahrung in Google Ads, SEO und Content Marketing. Olaf Kopp ist Co-Founder, Chief Business Development Officer (CBDO) und Head of SEO & Content bei der Online Marketing Agentur Aufgesang GmbH. Olaf Kopp ist international anerkannter Branchenexperte für semantische SEO, E-E-A-T, KI- und Suchmaschinen-Technologie, Content-Marketing und Customer Journey Management. Er ist Gründer der weltweit ersten Datenbank für Patente und Research Paper, die jeder SEO kennen sollte. Als Autor schreibt er für nationale und internationale Fachmagazine wie Searchengineland, t3n, Website Boosting, Hubspot Blog, Sistrix Blog, Oncrawl Blog ... . 2022 war er Top Contributor bei Search Engine Land. Als Speaker stand er auf Bühnen der SMX, SEA/SEO World, CMCx, OMT, Digital Bash oder Campixx. Er ist ist Host der Podcasts OM Cafe und Digital Authorities. Er ist ist Autor des Buches "Content-Marketing entlang der Customer Journey", Co-Autor des Standardwerks "Der Online Marketing Manager" und Mitorganisator des SEAcamp.

• Digitaler Markenaufbau: Das Zusammenspiel aus (Online-)Branding & Customer Experience - 7. August 2024
• Google Helpful Content: Was wirklich wichtig ist! - 13. Juli 2024
• Information Gain: Wie wird er berechnet? Welche Faktoren sind entscheidend? - 12. Juli 2024
• Shopping-Graph-Optimierung: Die Zukunft für Shop SEO / E-Commerce SEO - 16. Mai 2024
• Die Google Suche: So funktioniert das Ranking der Suchmaschine heute - 13. Februar 2024

Blog-Artikel zu diesem Thema