Crawler
Auch: Webcrawler, Spider, Bot
Ein Crawler ist ein Programm, das Webseiten automatisch abruft, die darin enthaltenen Links ausliest und ihnen weiter folgt. Suchmaschinen, KI-Anbieter und SEO-Tools bauen so ihre Datenbestände auf; was kein Crawler erreicht, kommt in keinem Index vor.
Jede Suchmaschine und jedes Backlink-Tool steht vor demselben Problem: Ein zentrales Verzeichnis aller Webseiten gibt es nicht. Wer wissen will, was im Web steht, muss es selbst abrufen. Das erledigen Crawler, im Jargon auch Spider, Robots oder Bots genannt.
Dieser Eintrag erklärt das Grundprinzip, ordnet die Crawler ein, die heute auf einer typischen Website auftauchen, und zeigt, warum sie für den Linkaufbau wichtiger sind, als es auf den ersten Blick wirkt. Googles eigenen Crawler beschreibt der Eintrag Googlebot im Detail.
Ein Programm, das Links folgt
Der Internetstandard zur robots.txt beschreibt Crawler knapp als automatisierte Clients; Suchmaschinen nutzen sie, um Links rekursiv zu durchlaufen und Inhalte für ihren Index zu sammeln (RFC 9309). Rekursiv heißt: Jede abgerufene Seite liefert neue Adressen, die wieder abgerufen werden. Der Ablauf wiederholt sich in einer Schleife:
- Startliste: Der Crawler beginnt mit bekannten Adressen, etwa aus früheren Durchläufen oder eingereichten Sitemaps.
- Regeln prüfen: Vor dem Abruf liest ein seriöser Crawler die robots.txt der Website und lässt gesperrte Pfade aus.
- Abrufen: Er fordert die Seite per HTTP an und speichert Antwortcode und Inhalt.
- Auswerten: Er liest die Links der Seite aus und notiert neue Adressen in einer Warteschlange.
- Weiter: Aus der Warteschlange wählt er die nächsten Adressen, nach eigenen Regeln für Wichtigkeit, Aktualität und Serverlast.
Google unterscheidet in seiner Dokumentation zwei Arten von Abrufprogrammen. „Crawler“ ist der Überbegriff für Programme, die Websites automatisch finden und scannen. Ein Fetcher stellt dagegen meist eine einzelne Anfrage im Auftrag eines Nutzers, etwa wenn jemand in einem Werkzeug eine bestimmte URL prüfen lässt (Google: Übersicht über Crawler und Fetcher). Der Unterschied ist praktisch relevant: Vom Nutzer ausgelöste Fetcher ignorieren die robots.txt laut Google meist, weil ein Mensch den Abruf angefordert hat.
Gecrawlt heißt nicht indexiert. Der Crawler holt die Seite nur ab. Ob sie danach in einen Suchindex kommt, entscheidet ein eigener Schritt, die Indexierung. Eine abgerufene Seite kann trotzdem nie in den Suchergebnissen erscheinen.
Wer im Web crawlt: vier Gruppen
In den Server-Logs einer gewöhnlichen Firmenwebsite tauchen Dutzende Crawler auf. Jeder meldet sich mit einer Kennung, dem User-Agent. Nach ihrem Zweck lassen sie sich in vier Gruppen ordnen:
| Gruppe | Beispiele (Kennung) | Wofür sie sammeln |
|---|---|---|
| Suchmaschinen | Googlebot, Bingbot | Suchindex und Ranking |
| KI-Anbieter | GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot | Training von Sprachmodellen oder Quellen für KI-Antworten |
| SEO- und Backlink-Tools | AhrefsBot, SemrushBot, DataForSeoBot | Link- und Ranking-Datenbanken der Anbieter |
| Archive und Datensätze | Crawler des Internet Archive, CCBot (Common Crawl) | Langzeitarchiv oder frei verfügbare Webkopien |
Die Zwecke unterscheiden sich stark. Eine Sperre für einen SEO-Tool-Crawler hat keinen Einfluss auf Google, eine Sperre für einen KI-Trainingscrawler nicht unbedingt auf die Nennung in KI-Suchen. Wie sich die KI-Crawler nach Training, Suche und Live-Abruf unterscheiden, erklärt der Eintrag KI-Crawler.
Eine fünfte Art läuft nur, wenn Sie sie starten: Audit-Crawler wie der Screaming Frog SEO Spider oder die Site-Audit-Funktionen großer SEO-Suiten durchsuchen Ihre eigene Website nach defekten Links, Weiterleitungen und fehlenden Titeln. Technisch funktionieren sie genauso, sie arbeiten nur in Ihrem Auftrag und auf Ihrer Domain.
Wie ein Crawler entscheidet, was er abruft
Kein Crawler ruft alles ab. Jeder Betreiber muss mit Rechenzeit und Bandbreite haushalten und darf die besuchten Server nicht überlasten. Die Auswahl folgt einigen allgemeinen Prinzipien:
- Auffindbarkeit: Was nicht verlinkt ist und in keiner Sitemap steht, findet ein Crawler kaum. Seiten ohne eingehende Links bleiben oft unentdeckt.
- Erlaubnis: Die Regeln der robots.txt gelten für alle Crawler, die sich daran halten. Google gibt an, dass seine gängigen Crawler sie immer beachten. Ahrefs und DataForSEO erklären das für ihre Bots ebenfalls. Eine Zugangssperre ist die robots.txt trotzdem nicht, der Standard nennt sie ausdrücklich keine Form der Zugriffskontrolle.
- Serverantwort: Antwortet ein Server langsam oder mit Fehlern, drosseln Crawler in der Regel ihr Tempo. Google schreibt, dass es so viele Seiten wie möglich abrufen will, ohne den Server zu überlasten.
- Wichtigkeit und Änderungen: Häufig verlinkte und häufig aktualisierte Seiten werden öfter besucht als ein Archivbeitrag von 2015. Die Regeln dafür legt jeder Betreiber selbst fest.
Für große Websites wird die Frage, wie viele Abrufe Google je Website aufwendet, zu einem eigenen Thema: dem Crawl-Budget. Für die meisten Firmenwebsites mit einigen hundert Seiten spielt es keine Rolle.
Ein weiterer Unterschied betrifft JavaScript. Google rendert Seiten nach eigener Beschreibung ähnlich wie ein aktueller Chrome-Browser und sieht damit auch Inhalte, die erst per Script entstehen. Ob andere Crawler JavaScript ausführen, hängt vom Betreiber ab. Ein Link, der nur per Script eingefügt wird, kann deshalb für einen Crawler sichtbar sein und für einen anderen nicht.
Crawler erkennen und prüfen
Die Kennung im User-Agent kann jeder fälschen. Scraper und Spam-Bots geben sich gern als Googlebot aus, weil viele Websites diesen nie blockieren. Deshalb veröffentlichen seriöse Betreiber zusätzlich überprüfbare Merkmale:
- Rückwärts-DNS: Google beschreibt einen zweistufigen Test. Die IP-Adresse aus dem Log wird per DNS in einen Hostnamen aufgelöst, der auf googlebot.com, google.com oder googleusercontent.com enden muss. Dieser Hostname wird dann wieder in die IP-Adresse aufgelöst; beide müssen übereinstimmen.
- IP-Listen: Google, Ahrefs und andere veröffentlichen die Adressbereiche ihrer Crawler als Datei. Eine Firewall oder ein Log-Analyse-Werkzeug kann Anfragen damit abgleichen.
- Infoseite: Die meisten Kennungen enthalten eine URL, unter der der Betreiber Zweck, Verhalten und Sperrmöglichkeiten beschreibt.
Aus Sicht des Linkaufbaus lohnt der Blick in die Logs vor allem bei Publishern. Wer eine Platzierung verkauft und gleichzeitig Suchmaschinen-Crawler aussperrt, liefert einen Link, den Google nie zu Gesicht bekommt.
Warum Crawler über Ihre Backlink-Daten entscheiden
Ein Backlink existiert für eine Suchmaschine erst, wenn ihr Crawler die verlinkende Seite abgerufen hat. Dasselbe gilt für jedes SEO-Tool. Daraus folgen drei Punkte, die in der Praxis oft übersehen werden:
- Jedes Tool kennt nur seinen eigenen Ausschnitt. Ahrefs, Semrush, Majestic oder DataForSEO zeigen die Links, die ihr eigener Crawler gefunden hat. Unterschiedliche Zahlen für dieselbe Domain sind deshalb der Normalfall. Warum die Werte auseinanderliegen, behandelt der Backlink-Checker-Vergleich.
- Sperren wirken selektiv. Sperrt ein Publisher AhrefsBot per robots.txt, fehlt Ihr Link in Ahrefs, während Google ihn kennen kann. Umgekehrt beweist ein Link in einem Tool nicht, dass Google ihn gesehen hat.
- Googles Sicht zeigt nur Google. Welche Links Googles Crawler zu Ihrer Website kennt, zeigt der Linkbericht der Search Console, allerdings als Auswahl und ohne Attribute. Was er leistet, erklärt der Beitrag Search Console Backlinks.
Für gekaufte oder vereinbarte Platzierungen heißt das: Prüfen Sie nicht nur, ob der Link im Quelltext steht, sondern auch, ob die Seite für Suchmaschinen erreichbar ist. Steht sie unter einer Sperre in der robots.txt, hinter einem Login oder trägt sie noindex, fehlt dem Link die Grundlage. Wie Sie das vor einer Buchung prüfen, beschreibt der Beitrag Backlinks bewerten.
Beispiel: ein Gastbeitrag, drei Befunde
Ein Anbieter von Laborsoftware veröffentlicht einen Fachbeitrag auf einem Branchenportal, mit einem redaktionell gesetzten Link auf seine Produktseite. Sechs Wochen später ergibt die Kontrolle ein uneinheitliches Bild. Das Beispiel ist konstruiert.
- Die Search Console führt das Portal unter den verweisenden Websites.
- Ein Backlink-Tool zeigt den Link nicht.
- Ein zweites Tool zeigt ihn, aber mit einer älteren Fassung der Seite.
Ein Blick in die robots.txt des Portals klärt die erste Abweichung: Dort sind mehrere SEO-Tool-Crawler gesperrt, darunter der des ersten Tools. Die zweite Abweichung liegt am Rhythmus: Das zweite Tool hat die Seite kurz nach Veröffentlichung abgerufen und seitdem nicht wieder. Der Link ist in Ordnung. Das Team notiert im Linkreporting künftig, welche Quelle welchen Fund belegt, statt die Zahl eines einzelnen Tools als Wahrheit zu nehmen.
Häufige Fragen
Was macht ein Crawler?
Ein Crawler ruft Webseiten automatisch ab, speichert Inhalt und Antwortcode und folgt den Links auf der Seite zu weiteren Adressen. Suchmaschinen bauen so ihren Index auf, SEO-Tools ihre Link-Datenbanken und KI-Anbieter ihre Trainings- oder Quellbestände.
Ist ein Crawler das Gleiche wie ein Bot?
Ein Crawler ist eine bestimmte Art von Bot. „Bot“ bezeichnet jedes Programm, das automatisch Aufgaben erledigt, auch Chatbots oder Spam-Bots. Ein Crawler ist ein Bot, der Webseiten abruft und Links folgt.
Kann ich Crawler von meiner Website aussperren?
Ja, über die robots.txt können Sie einzelnen Crawlern Pfade oder die ganze Website verbieten. Seriöse Betreiber halten sich daran, eine technische Sperre ist das aber nicht. Wer Zugriffe wirklich verhindern will, braucht Serverregeln oder einen Login.
Warum findet Google meine neue Seite nicht?
Häufig fehlt ein Weg dorthin: Die Seite ist nicht intern verlinkt, steht in keiner Sitemap oder ist per robots.txt gesperrt. Verlinken Sie sie aus bestehenden Seiten, nehmen Sie sie in die Sitemap auf und prüfen Sie sie im URL-Prüftool der Search Console.