GPTBot & robots.txt: KI-Crawler richtig steuern

Die Frage kommt inzwischen in fast jedem Projekt auf, meist von der Geschäftsführung und meist in dieser Form: „Können wir verhindern, dass ChatGPT unsere Inhalte klaut?“ Die technische Antwort ist einfach – vier Zeilen in der robots.txt. Die betriebswirtschaftliche Antwort ist es nicht, denn dieselbe Datei entscheidet auch darüber, ob Ihre Marke in KI-Antworten überhaupt noch als Quelle auftaucht.

Der Grund ist eine Unterscheidung, die in den meisten Anleitungen untergeht: Hinter den Namen GPTBot, OAI-SearchBot, ClaudeBot und PerplexityBot stecken völlig verschiedene Aufgaben. Der eine sammelt Trainingsmaterial, der andere baut den Index auf, aus dem Zitate mit Quellenlink entstehen. Wer alles pauschal sperrt, verliert die Zitate – und schützt beim Training oft weniger, als er glaubt.

Dieser Beitrag sortiert die relevanten User-Agents nach ihrer tatsächlichen Funktion, liefert drei fertige robots.txt-Konfigurationen und zeigt, wie Sie in den Server-Logs kontrollieren, was wirklich passiert. Grundlage sind ausschließlich die offiziellen Betreiber-Dokumentationen, Stand September 2026.

Drei Sorten Crawler – und warum die Unterscheidung über Ihre Sichtbarkeit entscheidet

„KI-Crawler“ ist ein Sammelbegriff für Systeme, die technisch identisch aussehen und wirtschaftlich das Gegenteil bedeuten. Wer sie nicht auseinanderhält, trifft Entscheidungen, deren Preis er nicht kennt. Die Betreiber selbst trennen sauber – man muss ihre Dokumentation nur lesen.

Typ A: Trainings-Crawler

Diese Crawler sammeln Text, der in künftige Modellgenerationen einfließen kann. OpenAI beschreibt GPTBot genau so: Er crawlt Inhalte, die zum Training der generativen Foundation-Modelle verwendet werden können. Anthropic formuliert es für ClaudeBot nahezu identisch, Meta für Meta-ExternalAgent ebenfalls.

Eine Sperre hier kostet Sie keine einzige Zitation, sie verhindert nur den Beitrag zu künftigen Trainingsständen. Zwei Einschränkungen gehören dazu: Was in älteren Ständen steckt, holt keine robots.txt zurück – und ein Zitat aus Ihrem Ratgeber in einem fremden Fachartikel ist von Ihrer Datei ohnehin nicht erfasst.

Typ B: Crawler für KI-Suche und Live-Abrufe

Hier entscheidet sich Ihre Sichtbarkeit. OAI-SearchBot baut laut OpenAI den Index auf, aus dem ChatGPT in seinen Suchfunktionen Zitate zieht. PerplexityBot ist nach Perplexitys Dokumentation dafür da, Websites in Perplexity-Ergebnissen aufzufinden und zu verlinken – ausdrücklich nicht für Modelltraining. Anthropics Claude-SearchBot analysiert Inhalte, um Suchantworten relevanter und genauer zu machen.

Perplexity empfiehlt Betreibern in der eigenen Dokumentation sogar explizit, PerplexityBot zuzulassen. Und OpenAI schreibt so klar, wie es geht: Wer OAI-SearchBot ausschließt, wird in ChatGPT-Suchantworten nicht gezeigt – allenfalls noch als reiner Navigationslink. Das ist der Satz, den Sie Ihrer Geschäftsführung vorlegen sollten, bevor jemand aus Vorsicht alles dichtmacht.

Davon zu unterscheiden sind die nutzerausgelösten Abrufe: ChatGPT-User, Perplexity-User, Claude-User, Meta-ExternalFetcher. Sie holen genau eine Seite, weil ein Mensch gerade danach gefragt hat – und mehrere Betreiber dokumentieren offen, dass die robots.txt hier nicht zuverlässig greift.

Typ C: Der klassische Suchmaschinen-Crawler

Der wichtigste KI-Crawler heißt immer noch Googlebot – auch wenn er nirgends so genannt wird. Google dokumentiert in seiner Hilfe zu KI-Funktionen in der Suche, dass robots.txt-Direktiven für den Googlebot die Steuerung dafür sind, wie eine Website für die Suche gecrawlt wird. Aus diesem Index speisen sich die KI-Antworten in der Suche. Dasselbe gilt bei Microsoft für den bingbot und Copilot.

Praktische Folge: Eine Sperre des Googlebot ist keine KI-Maßnahme, sondern der Ausstieg aus der organischen Suche. Sie kommt für kein Unternehmen infrage, das Kunden über Google gewinnt. Warum die Mechanik dahinter überhaupt so funktioniert, erklärt unser Leitfaden zur Generative Engine Optimization im Abschnitt zur Entstehung einer KI-Antwort.

Die relevanten User-Agents im Überblick

Die folgende Tabelle enthält nur User-Agents, die vom jeweiligen Betreiber selbst dokumentiert sind. Grundlage sind die Bot-Dokumentation von OpenAI (developers.openai.com/api/docs/bots), der Support-Artikel von Anthropic zum Crawling, die Perplexity-Dokumentation unter docs.perplexity.ai, Googles Übersicht der gängigen Crawler, die Crawler-Dokumentation von Meta, Apple, Amazon und Mistral sowie die Angaben von Common Crawl.

User-Agent	Betreiber	Wofür der Abruf dient	Auswirkung einer Sperre
GPTBot	OpenAI	Training der generativen Foundation-Modelle	Inhalte fließen nicht in künftige Trainingsstände. Sichtbarkeit in der ChatGPT-Suche bleibt unberührt.
OAI-SearchBot	OpenAI	Index für die Suchfunktion in ChatGPT, liefert die Zitate mit Quellenlink	Laut OpenAI keine Anzeige in ChatGPT-Suchantworten mehr, allenfalls als Navigationslink. Die teuerste KI-Sperre.
ChatGPT-User	OpenAI	Abruf einer konkreten URL, wenn ein Nutzer ChatGPT darum bittet	Wirkt nur eingeschränkt: OpenAI dokumentiert, dass robots.txt-Regeln bei nutzerausgelösten Aktionen möglicherweise nicht gelten.
OAI-AdsBot	OpenAI	Prüfung von Landingpages für Anzeigen in ChatGPT, kein Training	Nur relevant, wenn Sie dort werben wollen.
ClaudeBot	Anthropic	Sammeln von Webinhalten, die zum Modelltraining beitragen können	Kein Trainingsbeitrag. Keine Auswirkung auf Zitate in Claude-Suchantworten.
Claude-SearchBot	Anthropic	Analyse von Inhalten zur Verbesserung von Suchantworten	Die Chance, in Claude-Suchantworten als Quelle zu erscheinen, sinkt.
Claude-User	Anthropic	Seitenabruf auf konkrete Nutzeranfrage	Betrifft nur einzelne, von Menschen angestoßene Abrufe.
PerplexityBot	Perplexity	Auffinden und Verlinken von Websites in Perplexity-Ergebnissen, kein Training	Perplexity empfiehlt ausdrücklich, den Bot zuzulassen. Eine Sperre kostet direkt Zitationen.
Perplexity-User	Perplexity	Seitenabruf während einer laufenden Nutzeranfrage	Perplexity dokumentiert, dass dieser Abruf robots.txt-Regeln in der Regel ignoriert.
Googlebot	Google	Index der Google-Suche – Grundlage auch für die KI-Antworten in der Suche	Ausstieg aus der organischen Suche. Für die allermeisten Unternehmen ausgeschlossen.
Google-Extended	Google	Steuert, ob Inhalte Gemini-Apps und Vertex AI verbessern, einschließlich künftiger Modellgenerationen	Laut Google kein Einfluss auf die Aufnahme in die Google-Suche und kein Rankingsignal.
Applebot-Extended	Apple	Crawlt selbst nicht, sondern steuert nur, ob bereits erfasste Inhalte für Apples generative Modelle genutzt werden	Kein Trainingsbeitrag. Auffindbarkeit über Siri und Spotlight bleibt bestehen.
Meta-ExternalAgent	Meta	Training von Foundation-Modellen oder direkte Indexierung von Inhalten	Kein Trainingsbeitrag.
Meta-ExternalFetcher	Meta	Abruf einzelner Links auf Nutzerwunsch, unterstützt agentische Funktionen	Meta dokumentiert selbst, dass dieser Fetcher die robots.txt umgehen kann.
MistralAI-Training / -Index / -User	Mistral	Getrennte Agents für Training, Suchindex und Nutzerabruf	Einzeln steuerbar, gleiche Logik wie bei OpenAI und Anthropic.
Amazonbot	Amazon	Verbesserung von Produkten und Diensten, kann laut Amazon für das Training von KI-Modellen genutzt werden	Kein Trainingsbeitrag. Amazon dokumentiert daneben eigene Agents für Suche und Nutzerabrufe.
CCBot	Common Crawl	Offener Web-Datensatz, den zahlreiche Modellbetreiber als Trainingsquelle nutzen	Wirkt indirekt auf viele Trainingsprozesse gleichzeitig – die wirksamste einzelne Trainingssperre.

Zwei Namen, die Sie in keinem Logfile finden werden

Google-Extended und Applebot-Extended sind keine Crawler, sondern Steuertoken. Apple schreibt das ausdrücklich: Applebot-Extended crawlt keine Webseiten, es regelt nur die Verwendung von Inhalten, die der normale Applebot ohnehin erfasst hat. Bei Google-Extended läuft der Abruf analog über die regulären Google-Crawler.

Wer im Server-Log nach diesen Namen sucht, um die Wirkung seiner Direktive zu prüfen, findet deshalb nichts – und schließt daraus regelmäßig falsch, die Sperre werde ignoriert.

Der Sonderfall Google: Was Google-Extended nicht steuert

Hier verwischen fast alle Artikel im Netz eine Grenze, die Google selbst sehr genau zieht. In der Übersicht der gängigen Crawler steht zu Google-Extended, dass es die Nutzung für Gemini-Apps und die generativen APIs von Vertex AI regelt, einschließlich künftiger Modellgenerationen – und dass es die Aufnahme einer Website in die Google-Suche nicht beeinflusst und kein Rankingsignal ist.

Was daraus nicht folgt, ist ebenso wichtig: Google dokumentiert an keiner Stelle, dass eine Sperre von Google-Extended Ihre Inhalte aus den KI-Antworten innerhalb der Google-Suche heraushält. Die Steuerung dafür läuft laut Googles Hilfe zu KI-Funktionen über die üblichen Suchmechanismen: robots.txt-Direktiven für den Googlebot regeln den Zugriff, und für die Darstellung stehen nosnippet, data-nosnippet und max-snippet zur Verfügung.

Das ist eine unangenehme Botschaft: Aus den KI-Antworten der Google-Suche kommen Sie praktisch nur heraus, indem Sie auch aus der normalen Suche herausgehen oder auf Textausschnitte verzichten. Ein Schalter, der nur die KI-Antwort abstellt und das blaue Ergebnis erhält, ist nicht dokumentiert.

Microsoft geht einen anderen Weg. Für Copilot-Antworten dokumentiert Bing keine eigenen robots.txt-Token, sondern die Meta-Tags nocache und noarchive: Inhalte mit noarchive werden laut Bing nicht in Chat-Antworten aufgenommen und nicht verlinkt, mit nocache nur mit URL, Titel und Snippet dargestellt. In den regulären Suchergebnissen erscheinen beide weiterhin.

Unsere Empfehlung: Behandeln Sie die Google- und Bing-Steuerung als eigenes Thema und vermischen Sie sie nicht mit der Crawler-Frage. Wer Google-Extended sperrt, trifft eine Aussage zum Modelltraining – nicht zur Sichtbarkeit in der Suche.

Drei Strategien mit fertigen robots.txt-Blöcken

Die Entscheidung hängt an einer Frage: Verdienen Sie Geld mit Ihren Inhalten oder über Ihre Inhalte? Ein Fachverlag verkauft Texte, ein Maschinenbauer verkauft Maschinen und nutzt Texte zur Anbahnung. Für beide Fälle sind gegensätzliche Konfigurationen richtig.

Variante A: offen für Zitationen

Für wen: Mittelständler, B2B-Dienstleister, Hersteller, Kanzleien, Agenturen – kurz: alle, deren Inhalte Anfragen erzeugen sollen und kein Produkt sind. Das ist unsere Standardempfehlung für rund neun von zehn Kundenprojekten.

Diese Variante erfordert genau genommen gar nichts – ohne Sperre ist alles erlaubt. Der Kommentarblock hat trotzdem einen Wert: Er dokumentiert die Entscheidung und verhindert, dass beim nächsten Relaunch jemand „sicherheitshalber“ Sperren einbaut.

# robots.txt - Variante A: offen fuer Zitationen
# beispiel-gmbh.de, Stand 10.09.2026
# Bewusste Entscheidung: keine Sperren fuer KI-Crawler.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /*?s=

Sitemap: https://beispiel-gmbh.de/sitemap_index.xml

Wichtig ist hier nur, was nicht drinsteht: keine Disallow-Zeile für OAI-SearchBot, PerplexityBot oder Claude-SearchBot. Prüfen Sie das nach jedem Relaunch, denn viele Hoster und Plugins liefern eigene Standard-Dateien mit vorkonfigurierten KI-Sperren aus.

Variante B: selektiv – Training aus, Retrieval an

Für wen: Unternehmen, die aus grundsätzlichen oder rechtlichen Erwägungen kein Trainingsmaterial liefern wollen, aber auf Zitationen in KI-Antworten angewiesen sind. Typisch für Häuser mit Betriebsrat, Compliance-Abteilung oder eigenem Rechtsbereich.

# robots.txt - Variante B: selektiv
# Trainings-Crawler aus, KI-Such-Crawler an.

# --- 1. Trainings-Crawler ausschliessen
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: Amazonbot
User-agent: CCBot
Disallow: /

# --- 2. Alle uebrigen Crawler: normale Regeln
#     Googlebot, bingbot, OAI-SearchBot, PerplexityBot und
#     Claude-SearchBot werden hier bewusst NICHT einzeln genannt.
#     Sie fallen in diese Gruppe und bleiben zugelassen.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /*?s=

Sitemap: https://beispiel-gmbh.de/sitemap_index.xml

Der Kommentar in Block 2 ist keine Kosmetik, sondern die wichtigste Zeile der Datei. Nach der robots.txt-Spezifikation, wie Google sie umsetzt, gilt für jeden Crawler nur genau eine Gruppe: die mit dem spezifischsten passenden User-Agent. Wer OAI-SearchBot eine eigene Gruppe mit Allow: / spendiert, hebt für ihn alle Regeln der *-Gruppe auf – auch die Sperre für /wp-admin/.

Variante C: geschlossen

Für wen: Verlage, Fachmedien, Datenbank- und Kursanbieter, Paid-Content-Modelle. Also ausschließlich Häuser, bei denen der Text selbst das Produkt ist und eine KI-Antwort die Bezahlschranke ersetzt, statt zu ihr zu führen.

# robots.txt - Variante C: geschlossen
# beispiel-verlag.de - Inhalte sind das Produkt.

# --- 1. Trainings-Crawler
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: Amazonbot
User-agent: CCBot
Disallow: /

# --- 2. KI-Such-Crawler: gesperrt, aber mit Schaufenster
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: MistralAI-Index
Disallow: /
Allow: /ueber-uns/
Allow: /mediadaten/
Allow: /kontakt/

# --- 3. Klassische Suche bleibt offen
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://beispiel-verlag.de/sitemap_index.xml

Block 2 ist der Kompromiss, den erstaunlich wenige Publisher nutzen: redaktionelle Inhalte zu, Unternehmens- und Mediadaten-Seiten offen. So kann eine KI-Antwort weiterhin sagen, dass es Ihr Medium gibt und wofür es steht, ohne dass Ihre Artikel in die Antwort wandern. Die Copilot-Nutzung steuern Sie zusätzlich über die Meta-Tags.

Ergänzung: Content Signals

Cloudflare hat im September 2025 die Content Signals Policy vorgestellt: eine Zeile Content-Signal in der robots.txt mit den Werten search (Suchindex), ai-input (Grounding und Retrieval für KI-Antworten) und ai-train (Training). Gesteuert wird damit der Verwendungszweck, nicht der Zugriff.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Cloudflare selbst stellt klar, dass es sich um eine Willenserklärung handelt und nicht um eine technische Gegenmaßnahme. Ob sich große Anbieter daran halten, ist offen. Nehmen Sie die Zeile als kostenlose Dokumentation Ihrer Haltung mit – aber verlassen Sie sich nicht darauf.

Was die robots.txt nicht kann

Die robots.txt ist eine Bitte, kein Schloss. Sie funktioniert, weil sich seriöse Betreiber daran halten und ihre Reputation daran hängt – nicht, weil ein Server etwas erzwingen würde. Wer eine Datei hochlädt und den Punkt für erledigt hält, verwechselt eine Absichtserklärung mit einer Zugriffskontrolle.

Drei Grenzen sind dabei keine Spekulation, sondern von den Betreibern selbst dokumentiert. Erstens fallen nutzerausgelöste Abrufe bewusst aus der Konvention – Perplexity schreibt, dass Perplexity-User robots.txt-Regeln in der Regel ignoriert, Meta räumt das für Meta-ExternalFetcher ein, OpenAI formuliert es für ChatGPT-User als „möglicherweise nicht anwendbar“. Zweitens gibt es undokumentierte Crawler, die sich als Browser ausgeben und User-Agents wechseln. Drittens schützt die Datei nicht vor Weiterverbreitung: Steht Ihr Absatz zitiert in einem Fachartikel, greift keine Ihrer Direktiven.

Wer tatsächlich aussperren muss, braucht eine Ebene tiefer: Regeln auf dem Webserver, eine Web Application Firewall oder ein Bot-Management-Produkt, das Abrufe anhand verifizierter IP-Bereiche und Verhaltensmuster bewertet. Mehrere Betreiber – darunter OpenAI, Anthropic, Perplexity und Common Crawl – veröffentlichen dafür maschinenlesbare IP-Listen. Das ist ein Projekt für die IT, kein Nachmittagsthema fürs Marketing.

Kontrolle: Server-Logs lesen, Fehler erkennen

Jede robots.txt-Änderung ist eine Hypothese, bis Sie im Log nachgesehen haben. Die Auswertung kostet zehn Minuten und beantwortet zwei Fragen: Welcher KI-Crawler kommt vorbei, und hält er sich an das, was in der Datei steht?

Die Auswertung in einer Zeile

# Welche KI-Crawler waren da, und wie oft?
grep -Eio "GPTBot|OAI-SearchBot|ChatGPT-User|OAI-AdsBot|ClaudeBot|\
Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|CCBot|\
Amazonbot|MistralAI-[A-Za-z]+|Meta-External[A-Za-z]+" access.log \
  | sort | uniq -c | sort -rn

# Kommt ein gesperrter Bot trotzdem auf Inhaltsseiten?
grep -i "GPTBot" access.log | grep -v "robots.txt" | head -20

Ein typisches Bild aus Mittelstandsprojekten: Der Googlebot stellt den weitaus größten Teil aller Bot-Abrufe, danach folgen mit deutlichem Abstand OAI-SearchBot und PerplexityBot, dahinter die Trainings-Crawler. Nutzerausgelöste Abrufe wie ChatGPT-User tauchen nur vereinzelt auf, dafür fast immer auf tiefen, sehr spezifischen Ratgeberseiten – ein brauchbarer Hinweis darauf, welche Inhalte in Gesprächen wirklich gebraucht werden.

Ein Wort zur Vorsicht: User-Agents sind frei wählbar, ein Eintrag mit „GPTBot“ beweist also nicht, dass OpenAI dahintersteckt. Für die alltägliche Kontrolle reicht der Log-Blick, für ein Bot-Management-Regelwerk brauchen Sie den Abgleich mit den veröffentlichten IP-Bereichen.

Die fünf teuersten Fehlkonfigurationen

Fehler	Was tatsächlich passiert	Prüfung und Korrektur
Eigene Gruppe pro Crawler mit Allow: /	Der Crawler folgt nur seiner eigenen Gruppe. Alle Regeln aus User-agent: * gelten für ihn nicht mehr – auch nicht die Sperren für Admin- und Suchseiten.	Crawler nur dann einzeln nennen, wenn er wirklich abweichende Regeln braucht. Sonst weglassen und in die *-Gruppe fallen lassen.
Wildcards zu breit gesetzt	Disallow: /*ai* sperrt auch /service/mail-adressen/. Bei Konflikten gewinnt die längere Regel, bei gleicher Länge die weniger einschränkende – das ist selten das, was gemeint war.	Jede Wildcard-Regel gegen eine Liste echter URLs testen, nicht gegen die Vorstellung davon. $ nutzen, wo das URL-Ende gemeint ist.
JS- und CSS-Pfade gesperrt	Seiten werden unvollständig gerendert. Betrifft die klassische Suche und KI-Systeme gleichermaßen, weil beide auf das dargestellte Dokument angewiesen sind.	/wp-content/, /assets/, /build/ und ähnliche Verzeichnisse freigeben und mit einem Rendering-Test gegenprüfen.
Subdomains vergessen	Eine robots.txt gilt nur für genau einen Host, ein Protokoll und einen Port. blog.beispiel.de und shop.beispiel.de brauchen jeweils eine eigene Datei.	Alle aktiven Hosts auflisten und jede robots.txt einzeln abrufen. Auffällig oft steht auf Subdomains noch eine Staging-Datei mit Disallow: /.
Reihenfolge falsch verstanden	Die Reihenfolge der Gruppen spielt keine Rolle, die Spezifität schon. Eine *-Gruppe „ganz unten“ hebt nichts auf und fängt nichts ab.	Datei nach Gruppen sortieren, jede Gruppe kommentieren – und nach jedem Deploy die Live-Datei abrufen statt der Datei im Repository vertrauen.

Der blinde Fleck: die robots.txt Ihrer Zielmedien

Bis hierhin ging es um Ihre eigene Domain. Der wirtschaftlich interessantere Teil liegt woanders: Ihre Erwähnungen, Gastbeiträge und Platzierungen stehen auf fremden Domains. Deren robots.txt entscheidet mit darüber, ob ein KI-System diese Seite überhaupt abrufen und als Quelle zitieren kann.

Die Konsequenz ist unbequem: Ein Gastbeitrag in einem starken Fachmagazin, das OAI-SearchBot und PerplexityBot aussperrt, wirkt für die klassische Suche weiterhin als Linksignal – für die KI-Suche ist er praktisch unsichtbar. Zwei Platzierungen mit gleichem Domain Rank können in KI-Antworten also völlig unterschiedlich viel wert sein.

Daraus folgt ein Auswahlkriterium, das in der Praxis kaum jemand anwendet, obwohl der Test dreißig Sekunden pro Medium dauert. Bei Verlagen und großen Publikumsmedien stehen solche Sperren inzwischen häufig, bei Fach- und Branchenmedien deutlich seltener.

# Schnelltest fuer ein Zielmedium
curl -s https://fachmagazin-beispiel.de/robots.txt \
  | grep -iE "OAI-SearchBot|PerplexityBot|Claude-SearchBot|GPTBot|ClaudeBot"

Wie sich der Wert einer Platzierung insgesamt verschiebt, wenn nicht mehr nur Google rankt, sondern LLMs zitieren, behandelt unser Beitrag zu Backlinks in der KI-Suche.

Praxisbeispiel: drei Monate „geschlossen“

Das folgende Szenario ist ein Erfahrungswert aus Beratungsprojekten, keine Messreihe – belastbare Vorher-Nachher-Zahlen zu KI-Zitationen gibt es in dieser Sauberkeit selten, und erfundene Prozentwerte helfen niemandem.

Ausgangslage: ein Hersteller technischer Komponenten, rund 120 Mitarbeiter, ein gepflegter Ratgeberbereich mit etwa 80 Beiträgen zu Auswahl, Normen und Wartung. Nach einer Berichterstattung über KI und Urheberrecht entscheidet die Geschäftsführung, alle KI-Crawler zu sperren – Variante C, ohne Schaufenster-Ausnahme, umgesetzt an einem Freitagnachmittag ohne Rücksprache mit dem Marketing.

Was in drei Monaten passiert: Die organische Sichtbarkeit bleibt stabil, weil der Googlebot nie gesperrt war. Rankings und Traffic ändern sich nicht nennenswert, nach außen sieht alles ruhig aus – genau das macht die Variante so verführerisch.

Parallel verschwindet das Unternehmen aus einem Kanal, den niemand gemessen hat. Bei den typischen Auswahlfragen der Branche – „Welche Anbieter für X gibt es in Deutschland?“ – wurde vorher regelmäßig ein Ratgeberbeitrag des Herstellers als Quelle geführt. Jetzt zitieren die Systeme stattdessen zwei Wettbewerber und ein Fachmagazin. Die Antwort wird nicht schlechter, sie enthält nur die Marke nicht mehr.

Interessant ist der Rest: Die Marke verschwindet nicht vollständig, weil ein Fachbeitrag aus dem Vorjahr auf einer fremden Domain steht, die offen geblieben ist. Diese Platzierung trägt die Nennung weiter – ein handfestes Argument dafür, Sichtbarkeit nicht allein auf die eigene Domain zu stellen. Wie Sie solche Erwähnungen systematisch aufbauen, beschreibt unser Beitrag zur Abgrenzung von Linkbuilding und GEO.

Die Rücknahme dauert dann länger als die Sperre: Nach dem Öffnen der Datei muss jedes System erst neu crawlen und indexieren. Rechnen Sie mit einigen Wochen, bis die Beiträge wieder regelmäßig als Quelle auftauchen – bei tief liegenden Seiten mit wenig Aktualisierung entsprechend länger. Unsere Empfehlung: Wer die geschlossene Variante erwägt, misst vorher. Wie ein Prompt-Set und eine Ausgangsmessung aussehen, zeigt unser Leitfaden zur Messung der GEO-Sichtbarkeit.

Häufige Fragen

Sollte ich GPTBot in der robots.txt sperren?

Eine Sperre für GPTBot kostet Sie nach OpenAIs eigener Dokumentation keine Sichtbarkeit in ChatGPT, weil dieser Crawler nur Trainingsdaten sammelt. Die Frage ist damit keine SEO-Frage, sondern eine Haltungsfrage: Wollen Sie zum Training beitragen oder nicht? Entscheidend ist nur, dass Sie dabei nicht versehentlich OAI-SearchBot mitsperren – der ist für Zitate zuständig.

Verschwinde ich aus den KI-Antworten der Google-Suche, wenn ich Google-Extended sperre?

Nein, dafür ist Google-Extended nach der offiziellen Dokumentation nicht zuständig. Es steuert die Nutzung für Gemini-Apps und Vertex AI einschließlich künftiger Modellgenerationen und beeinflusst weder die Aufnahme in die Google-Suche noch das Ranking. Für die Darstellung von Textausschnitten in der Suche stehen stattdessen nosnippet, data-nosnippet und max-snippet zur Verfügung.

Halten sich alle KI-Crawler an die robots.txt?

Nein, und die seriösen Anbieter sagen das selbst. Perplexity dokumentiert, dass Perplexity-User robots.txt-Regeln in der Regel ignoriert, Meta räumt dasselbe für Meta-ExternalFetcher ein, OpenAI formuliert es für ChatGPT-User vorsichtiger. Hinzu kommen undokumentierte Crawler, die sich als normale Browser ausgeben. Wer verlässlich aussperren muss, braucht Serverregeln, eine WAF oder Bot-Management.

Wie lange dauert es, bis eine Änderung wirkt?

Die Datei selbst wird von den meisten Anbietern innerhalb von etwa 24 Stunden neu ausgewertet – OpenAI nennt diesen Zeitraum ausdrücklich. Bis eine Öffnung sich auf Zitationen auswirkt, dauert es deutlich länger, weil die Seiten erst neu gecrawlt und indexiert werden müssen. Planen Sie für eine Rücknahme mehrere Wochen ein, nicht Tage.

Brauche ich zusätzlich eine llms.txt?

Uns ist keine offizielle Dokumentation eines der großen Anbieter bekannt, die eine Auswertung von llms.txt zusagt. Solange das so bleibt, ist die Datei ein Vorschlag ohne belegte Wirkung. Sie schadet nicht und kostet eine Stunde – nur sollte sie keine Zeit von der robots.txt und von zitierfähigen Inhalten abziehen.

Gilt meine robots.txt auch für Subdomains?

Nein. Eine robots.txt gilt jeweils nur für genau einen Host, ein Protokoll und einen Port und muss im Wurzelverzeichnis liegen. blog.beispiel.de, shop.beispiel.de und www.beispiel.de brauchen jeweils eine eigene Datei. Gerade auf Subdomains findet man in Audits regelmäßig noch eine Staging-Datei mit einem globalen Disallow: /.

Fazit

Die robots.txt ist 2026 kein Hygienethema mehr, sondern eine Entscheidung über einen Vertriebskanal. Trennen Sie sie in zwei Fragen: Wollen Sie zum Modelltraining beitragen? Und wollen Sie in KI-Antworten als Quelle genannt werden? Die erste ist eine Haltungsfrage, die zweite eine wirtschaftliche – und sie wird in der Praxis viel zu oft versehentlich mitbeantwortet.

Unsere Empfehlung für den Mittelstand: Variante A oder B. Trainings-Crawler nach eigener Überzeugung, Such-Crawler offen. Prüfen Sie einmal im Quartal die Live-Datei, werfen Sie einen Blick in die Logs und nehmen Sie die robots.txt Ihrer Zielmedien in die Bewertung auf. Variante C ist richtig – aber nur, wenn der Text selbst das Produkt ist. Und unabhängig von der Konfiguration gilt: Eine offene robots.txt macht Sie zitierfähig, nicht zitierenswert. Das entscheidet der Inhalt.

Weiterlesen: Wie Sie GEO im Unternehmen umsetzen, mit Zuständigkeiten und 90-Tage-Plan, steht im Leitfaden zur Generative Engine Optimization. Wie Sie Ihre Sichtbarkeit in KI-Antworten mit Prompt-Sets und KPIs messen, zeigt GEO-Sichtbarkeit messen. Und wo genau die Grenze zwischen Linkbuilding und GEO verläuft, klärt unser Beitrag zu GEO-Optimierung und Brand Mentions.