KI-Crawler
Auch: AI Crawler, KI-Bot, AI User Agent
KI-Crawler ist der Sammelbegriff für Bots, die Webseiten im Auftrag von KI-Anbietern abrufen: für das Training von Sprachmodellen, für den Suchindex hinter KI-Antworten oder für einen Abruf während einer laufenden Nutzerfrage.
Wer in sein Server-Log schaut, findet neben dem Googlebot inzwischen Kennungen wie GPTBot, ClaudeBot oder PerplexityBot. Im Gespräch landen sie meist in einem Topf: „die KI-Crawler“. Technisch sehen sie tatsächlich gleich aus, sie rufen Seiten per HTTP ab und melden sich mit einem User-Agent, einer Selbstbezeichnung im Abruf.
Was mit den abgerufenen Inhalten geschieht, unterscheidet sich dagegen grundlegend. Diese Seite ordnet den Begriff ein, grenzt ihn ab und nennt die Irrtümer, die bei Sperren am häufigsten vorkommen.
Ein Sammelbegriff für drei Aufgaben
Ein Crawler ist allgemein ein Programm, das Webseiten automatisch abruft. Zum KI-Crawler wird er durch den Zweck: Die Inhalte landen bei einem KI-System. Die großen Anbieter trennen in ihrer Dokumentation inzwischen nach Aufgabe und vergeben je Aufgabe eine eigene Kennung.
- Training: Texte können in künftige Modellversionen einfließen. Beispiele sind GPTBot von OpenAI und ClaudeBot von Anthropic. Den OpenAI-Crawler beschreibt der Eintrag GPTBot im Detail.
- Suchindex: Seiten werden erfasst, damit sie als Quellen in KI-Antworten erscheinen können, etwa durch OAI-SearchBot, PerplexityBot oder Claude-SearchBot.
- Nutzerabruf: Eine einzelne Seite wird geholt, weil ein Mensch gerade danach fragt, zum Beispiel durch ChatGPT-User oder Perplexity-User. Das ist kein Crawling im engeren Sinn, sondern ein Abruf auf Zuruf.
Die Unterscheidung entscheidet über die Folgen einer Sperre. OpenAI schreibt in seiner Bot-Dokumentation, dass Websites, die OAI-SearchBot ausschließen, nicht in den Suchantworten von ChatGPT erscheinen. Eine Sperre von GPTBot zielt dagegen nur auf das Training.
Abgrenzung: was kein KI-Crawler ist
Drei Dinge werden regelmäßig mitgezählt, gehören aber nicht oder nur dem Anschein nach dazu.
- Steuertoken: Google-Extended und Applebot-Extended stehen in der robots.txt wie Crawlernamen, rufen aber selbst nichts ab. Google schreibt, das Crawling laufe über die bestehenden Google-Crawler und das Token diene nur der Steuerung (Google: Übersicht der gängigen Crawler), Apple sagt dasselbe über Applebot-Extended. Im Server-Log tauchen beide Namen deshalb nie auf.
- Klassische Suchmaschinen-Crawler: Der Googlebot trägt kein „KI“ im Namen, ist aber laut Googles Dokumentation zu KI-Funktionen der Weg, über den Google Seiten für die Suche einschließlich AI Overviews erfasst. Wer ihn sperrt, verlässt die Google-Suche insgesamt. Seit 31. August 2026 bietet Google zusätzlich einen Schalter in der Search Console, mit dem sich eine Website aus den generativen KI-Funktionen der Suche nimmt, ohne dass das als Rankingsignal für die übrigen Ergebnisse dient.
- Gefälschte Kennungen: Ein User-Agent ist eine Selbstauskunft und frei wählbar. Ob hinter „GPTBot“ wirklich OpenAI steckt, zeigt erst der Abgleich der IP-Adresse mit den Listen, die OpenAI, Perplexity und andere Betreiber veröffentlichen.
Typische Irrtümer bei Sperren
- „Eine Zeile sperrt alle KI-Crawler.“ Ein gemeinsames Token für KI-Bots gibt es nicht. Jeder Crawler wird mit seinem Namen angesprochen, und
User-agent: *trifft alle, also auch den Googlebot. - „Gesperrt heißt geschützt.“ Die robots.txt ist eine Vereinbarung, kein Schloss. Perplexity dokumentiert, dass Perplexity-User die Datei in der Regel ignoriert, weil ein Mensch den Abruf ausgelöst hat; OpenAI schreibt für ChatGPT-User, die Regeln gälten möglicherweise nicht. Wer Abrufe wirklich verhindern will, braucht Regeln auf Server oder Firewall.
- „Die Sperre wirkt rückwirkend.“ Anthropic beschreibt eine ClaudeBot-Sperre als Signal, künftige Inhalte aus Trainingsdaten herauszuhalten. Was vorher gesammelt wurde, holt keine robots.txt zurück.
- „Training sperren kostet Sichtbarkeit.“ Bei OpenAI und Perplexity sind Training und Suche getrennt dokumentiert; PerplexityBot wird laut Perplexity nicht für das Training von Basismodellen genutzt. Eine Trainingssperre allein nimmt eine Website also nicht aus deren KI-Suche.
Kurz-Praxis: Entscheidung je Aufgabe
Für die eigene Website reichen zwei getrennte Fragen: Sollen Ihre Texte in künftige Modelle einfließen? Und sollen Ihre Seiten in KI-Antworten als Quelle erscheinen? Die erste beantworten Sie über die Trainings-Crawler, die zweite über die Such-Crawler. Danach lohnt ein Blick ins Server-Log, ob die gewünschten Bots tatsächlich kommen, und nach jedem Relaunch ein Abruf der Live-Datei.
Die Liste der dokumentierten Kennungen, drei fertige Konfigurationen für die robots.txt und die Auswertung der Logs stehen ausführlich in GPTBot & robots.txt: KI-Crawler richtig steuern. Eine Datei mit KI-Regeln zusammenstellen lässt sich mit dem robots.txt-Generator.
Häufige Fragen
Sollte man KI-Crawler blockieren?
Das hängt von der Aufgabe des Crawlers ab. Trainings-Crawler zu sperren ist eine Grundsatzentscheidung und kostet laut den Dokumentationen von OpenAI und Perplexity keine Sichtbarkeit in deren KI-Suche. Such-Crawler zu sperren nimmt Ihre Seiten dagegen aus den Quellen der Antworten.
Halten sich KI-Crawler an die robots.txt?
Die großen Anbieter sagen das für ihre automatischen Crawler zu. Für Abrufe, die ein Nutzer auslöst, schränken mehrere Betreiber das selbst ein, etwa Perplexity für Perplexity-User. Undokumentierte Bots, die sich als Browser ausgeben, halten sich an gar nichts.
Woran erkenne ich KI-Crawler im Server-Log?
Am User-Agent, der Kennungen wie GPTBot, OAI-SearchBot oder PerplexityBot enthält. Weil sich diese Angabe fälschen lässt, gehört der Abgleich der IP-Adresse mit den veröffentlichten Adresslisten des Betreibers dazu.
Ist der Googlebot ein KI-Crawler?
Nicht dem Namen nach, aber über ihn erfasst Google die Seiten, aus denen auch AI Overviews und der KI-Modus schöpfen. Eine Sperre des Googlebot bedeutet den Ausstieg aus der Google-Suche. Für die KI-Funktionen der Suche gibt es seit 2026 einen eigenen Schalter in der Search Console.