robots.txt-Generator: robots.txt erstellen mit KI-Crawler-Regeln

Die robots.txt ist die kürzeste Datei Ihrer Website und eine der folgenreichsten. Ein falscher Schrägstrich, und der Googlebot lässt ganze Bereiche links liegen. Eine Zeile zu viel, und Ihre Seiten tauchen in ChatGPT-Antworten nicht mehr als Quelle auf.

Der robots.txt-Generator schreibt Ihnen die Datei so, wie Google sie liest: mit sinnvollen Vorgaben für WordPress und WooCommerce, gesperrter Seitensuche, Sitemap-Zeile und Regeln für 13 KI-Crawler in drei Gruppen. Er läuft kostenlos und ohne Anmeldung direkt in Ihrem Browser.

So erstellen Sie Ihre robots.txt in drei Schritten

Der Generator baut die Datei bei jeder Änderung neu auf, das Ergebnis steht sofort im Textfeld darunter.

1. Website und System angeben. Tragen Sie Ihre Adresse und den Pfad Ihrer Sitemap ein, etwa /sitemap_index.xml. Wählen Sie dann „WordPress“, „WordPress mit WooCommerce“ oder „Anderes System“. Per Haken sperren Sie die Ergebnisseiten der Seitensuche (voreingestellt) und auf Wunsch Sortier- und Filter-Parameter. Eigene Pfade wie /intern/ tragen Sie zeilenweise ein.
2. KI-Crawler wählen. Drei Schnellwahlen stehen bereit: „Alles offen“, „Training sperren, KI-Suche erlauben“ (voreingestellt) und „Alle KI-Crawler sperren“. Darunter haken Sie jeden der 13 Crawler einzeln an oder ab.
3. Prüfen, kopieren, hochladen. Der Generator zählt gesperrte Pfade und KI-Crawler und warnt, wenn Sie einen KI-Such-Crawler sperren. Dann kopieren Sie den Text oder laden die robots.txt herunter und legen sie ins Hauptverzeichnis Ihrer Domain.

So sieht das Ergebnis für eine WordPress-Website mit der voreingestellten KI-Auswahl aus:

# robots.txt – erstellt mit dem Linkship robots.txt-Generator am 26.10.2026
# Gilt nur für Crawler, die sich an die robots.txt halten. Sie steuert das Crawling, nicht die Indexierung.

User-agent: *
Disallow: /wp-admin/
Disallow: /?s=
Disallow: /*?s=
Allow: /wp-admin/admin-ajax.php

# Training: keine Nutzung für Modelltraining
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
Disallow: /

Sitemap: https://www.beispiel-gmbh.de/sitemap_index.xml

Die beiden WordPress-Zeilen (/wp-admin/ gesperrt, admin-ajax.php frei) entsprechen der virtuellen robots.txt, die WordPress selbst ausliefert. Bei „WordPress mit WooCommerce“ kommen Warenkorb, Kasse, Kundenkonto (mit den deutschen Standardpfaden /warenkorb/, /kasse/, /mein-konto/) und Links mit ?add-to-cart= hinzu. Abweichende Pfade ergänzen Sie unter „Weitere Pfade“.

Die Regeln, die Google versteht

Google beschreibt in der Dokumentation „How Google interprets the robots.txt specification“ genau, wie seine Crawler die Datei lesen. Das Wichtigste vorweg: Google wertet nur vier Felder aus. Alles andere, etwa Crawl-delay, wird ignoriert. In unserer Stichprobe stand diese Zeile trotzdem in 3 von 69 Dateien.

Feld	Bedeutung	Beispiel
User-agent	Für welchen Crawler die folgenden Regeln gelten; * steht für alle übrigen	User-agent: GPTBot
Disallow	Pfad, der nicht abgerufen werden darf; ohne Pfad wird die Regel ignoriert	Disallow: /intern/
Allow	Pfad, der abgerufen werden darf, auch innerhalb eines gesperrten Verzeichnisses	Allow: /wp-admin/admin-ajax.php
Sitemap	Vollständige URL einer Sitemap, unabhängig vom User-agent; mehrere Zeilen sind erlaubt	Sitemap: https://…/sitemap.xml

Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, darauf folgen die Regeln. Jeder Crawler folgt genau einer Gruppe, der mit dem spezifischsten passenden Namen; für ihn gelten die Regeln der *-Gruppe dann nicht mehr. Die Reihenfolge der Gruppen spielt keine Rolle.

Wildcards und Vorrang

Google unterstützt zwei Platzhalter: * steht für beliebig viele Zeichen, $ für das Ende der URL. Disallow: /*.pdf$ sperrt also alle Adressen, die auf .pdf enden, Disallow: /*?s= jede Adresse mit dem Suchparameter. Pfade beginnen immer mit einem Schrägstrich.

Treffen mehrere Regeln auf eine URL zu, gewinnt laut Google die mit dem längeren Pfad. Ein Beispiel aus der WordPress-Vorgabe: Für /wp-admin/admin-ajax.php passen Disallow: /wp-admin/ (10 Zeichen) und Allow: /wp-admin/admin-ajax.php (25 Zeichen). Die Allow-Regel ist länger, die Datei bleibt abrufbar. Bei gleicher Länge gilt die weniger einschränkende Regel.

Welche KI-Crawler Sie sperren sollten

Die Gruppen im Generator folgen der Aufgabe der Crawler, nicht dem Anbieter. Ausführlich mit allen Betreiber-Dokumentationen, Server-Log-Prüfung und drei fertigen Strategien erklärt das der Beitrag GPTBot und robots.txt: KI-Crawler richtig steuern. Hier die Kurzfassung.

• Training (GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent, Amazonbot): Diese Crawler sammeln Material für künftige Modelle. Eine Sperre kostet keine Zitate in KI-Suchantworten.
• KI-Suche (OAI-SearchBot, Claude-SearchBot, PerplexityBot): Sie bauen den Index, aus dem Antworten mit Quellenlink entstehen. OpenAI schreibt in seiner Crawler-Dokumentation, dass Websites, die OAI-SearchBot aussperren, nicht in ChatGPT-Suchantworten erscheinen, allenfalls als Navigationslink.
• Nutzerabruf (ChatGPT-User, Claude-User, Perplexity-User): Sie holen eine Seite, weil ein Mensch gerade danach fragt. Laut den Betreibern gilt die robots.txt dafür nicht immer. Wer sie zuverlässig aussperren will, braucht Server- oder Firewall-Regeln.

Ein Sonderfall ist Google-Extended. Laut Googles Crawler-Übersicht ist es kein eigener Crawler, sondern ein reines Steuer-Token. Es regelt, ob Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in den Gemini-Apps und Vertex AI genutzt werden – also auch für Antworten dort. Die Aufnahme in die Google-Suche beeinflusst es ausdrücklich nicht.

Unsere Empfehlung: Für Unternehmen, die über ihre Inhalte Kunden gewinnen, ist die voreingestellte Wahl richtig – Training nach eigener Haltung, KI-Suche offen. Denn die Nennung in KI-Antworten ist der Kern der Generative Engine Optimization. Nur wenn der Text selbst Ihr Produkt ist, etwa bei Verlagen und Kursanbietern, lohnt der Blick auf die geschlossene Variante.

Messung: Wie 69 deutsche Websites KI-Crawler behandeln

Wie halten es andere? Am 26. Oktober 2026 haben wir die robots.txt von 75 deutschen Websites per curl abgerufen: 20 reichweitenstarke und 15 zufällig gezogene mittelgroße Titel aus unserer Fachmagazin-Erfassung, die 15 reichweitenstärksten SEO- und Linkbuilding-Anbieter daraus, 15 große Marken und 10 Nachrichtenmedien.

Ausgewertet haben wir nach Googles Regeln für Gruppen und Vorrang. „Gesperrt“ heißt: Startseite und gewöhnliche Unterseiten sind verboten, einzelne Bereiche dürfen freigegeben sein. Sechs Websites waren nicht auswertbar (Zeitüberschreitung, Bot-Sperre, HTML statt Textdatei).

Gruppe	auswertbar	sperrt Trainings-Crawler	sperrt KI-Such-Crawler	mit Sitemap-Zeile
Nachrichtenmedien	10	10	8	5
Fachmagazine, reichweitenstark	20	15	6	13
Fachmagazine, mittelgroß	12	2	0	10
Große Marken	12	1	0	11
SEO- und Linkbuilding-Anbieter	15	0	0	13
Gesamt	69	28 (40,6 %)	14 (20,3 %)	52 (75,4 %)

Am häufigsten gesperrt ist CCBot (25 Websites), gefolgt von GPTBot (20), ClaudeBot (17) und Google-Extended (16). Bei den KI-Such-Crawlern liegt PerplexityBot vorn (10), OAI-SearchBot sperren nur 4. Alle vier geben dabei einzelne Rubriken frei, ein großes Nachrichtenmagazin etwa acht Ressorts. Den Googlebot sperrte keine einzige Website.

Aufschlussreich ist, wie gezielt gesperrt wird: 14 der 28 Websites mit Trainingssperre lassen alle drei KI-Such-Crawler zu – genau die Variante, die der Generator voreinstellt. Und bei einem Fachmagazin fanden wir eine Gruppe für 24 KI- und Scraper-Crawler, die ein Plugin eingetragen hatte. Sie sperrt nur Bewerberdateien, nicht die Website. Solche Einträge lohnt es nach Plugin-Updates gegenzulesen.

Typische Fehler – und wie Sie sie vermeiden

Die meisten Probleme sind keine Syntaxfehler, sondern Regeln, die etwas anderes tun als gedacht:

• Die ganze Website gesperrt. Ein Disallow: / in der *-Gruppe, oft ein Überbleibsel aus der Testumgebung, sperrt auch den Googlebot. Nach jedem Relaunch die Live-Datei aufrufen, nicht die im Projektordner.
• CSS und JavaScript gesperrt. Google rät in seiner Einführung zur robots.txt davon ab, Ressourcen zu sperren, ohne die eine Seite schwerer zu verstehen ist. Bei WordPress also nie /wp-content/ oder /wp-includes/ sperren.
• Disallow statt noindex. Eine gesperrte URL kann laut Google trotzdem im Index landen, wenn andere Seiten auf sie verlinken – dann ohne Beschreibung. Um eine Seite aus den Suchergebnissen herauszuhalten, braucht es noindex per Meta-Tag oder HTTP-Header. Dafür darf die Seite nicht gesperrt sein, sonst sieht Google die Anweisung nie.
• Falscher Ort. Die Datei muss im Hauptverzeichnis liegen; eine robots.txt unter /ordner/robots.txt liest kein Crawler. Sie gilt nur für genau einen Host mit Protokoll und Port – shop.beispiel.de und beispiel.de brauchen jeweils eine eigene.
• Groß- und Kleinschreibung. Feldnamen wie disallow sind egal, Pfade nicht: Disallow: /Intern/ sperrt /intern/ nicht. Auch der Dateiname selbst muss klein geschrieben robots.txt heißen.
• Zu große oder nicht erreichbare Datei. Google wertet höchstens 500 KiB aus und ignoriert alles danach. Liefert der Server bei der robots.txt einen 5xx-Fehler, stellt Google das Crawling laut Spezifikation zunächst für 12 Stunden ein; ein 404 dagegen bedeutet „keine Einschränkungen“.

Zum Größenlimit ein Rechenbeispiel aus unserer Messung: Die größte Datei hatte 14.830 Bytes. 500 KiB sind 512.000 Bytes – sie nutzt also rund 2,9 Prozent des Limits, trotz Dutzender Crawler-Gruppen. Welche Falle eigene Gruppen für einzelne Crawler bergen, zeigt die Fehlertabelle im Beitrag zur KI-Crawler-Steuerung.

robots.txt testen: der Bericht in der Search Console

Ob Google Ihre Datei findet und lesen kann, zeigt der robots.txt-Bericht der Search Console. Er steht nur für Properties auf Domainebene zur Verfügung, also Domain-Properties oder URL-Präfix-Properties ohne Pfad.

• Dateiliste: die robots.txt der 20 wichtigsten Hosts Ihrer Property mit Abrufstatus, Zeitpunkt der letzten Prüfung, Größe und Zahl der Probleme. Fehler setzen eine Regel außer Kraft, Warnungen nicht.
• Letzte und frühere Versionen: Ein Klick auf die Datei zeigt den zuletzt abgerufenen Inhalt mit markierten Fehlern; unter „Versionen“ sehen Sie die Abrufe der letzten 30 Tage.
• Erneutes Crawling anfordern: über das Symbol „Weitere Einstellungen“ neben der Datei. Sinnvoll, wenn Sie wichtige URLs freigegeben oder einen Abruffehler behoben haben. Sonst aktualisiert Google seine zwischengespeicherte Fassung laut Dokumentation in der Regel innerhalb von 24 Stunden.

Ob eine einzelne URL blockiert ist, prüfen Sie mit dem URL-Prüftool der Search Console.

Für KI-Crawler gibt es kein vergleichbares Werkzeug. Rufen Sie nach dem Hochladen die Datei im privaten Browserfenster auf und kontrollieren Sie die Gruppen von Hand. Leitet die Adresse weiter, etwa von http auf https, zeigt der Redirect-Checker jeden Schritt; Google folgt bei der robots.txt mindestens fünf Weiterleitungen.

robots.txt, llms.txt und Sitemap: wer wofür zuständig ist

Drei Dateien im Hauptverzeichnis werden gern verwechselt. Die robots.txt ist eine Zugangsregel, die Sitemap die Liste aller Seiten, die gefunden werden sollen, die llms.txt eine kuratierte Übersicht für KI-Systeme, die nichts sperrt. Die Sitemap-Zeile verbindet die ersten beiden: Sie zeigt jedem Crawler, wo die Sitemap liegt.

Wie verbreitet die llms.txt ist, steht in unserer Untersuchung von 100 deutschen Websites; anlegen können Sie sie mit dem llms.txt-Generator. Ob sich Ihre Freigaben in KI-Zitaten niederschlagen, zeigen feste Testfragen, wie im Beitrag GEO-Sichtbarkeit messen beschrieben.

Was das nicht leistet

Der Generator schreibt Regeln, er prüft nichts. Er liest Ihre bestehende robots.txt nicht ein, testet keine URLs und kennt außer WordPress und WooCommerce keine Systemvorgaben. Die Crawler-Namen entsprechen den Betreiber-Dokumentationen vom Oktober 2026; neue müssen Sie selbst ergänzen. Und jede robots.txt ist eine Bitte, keine Sperre.

Unsere Messung ist eine Momentaufnahme von 75 bewusst ausgewählten, nicht zufällig gezogenen Websites, abgerufen aus einem Rechenzentrum in den USA. Ob ein Crawler „gesperrt“ ist, haben wir für Startseite und gewöhnliche Unterseiten nach Googles Regeln berechnet; teilweise Sperren einzelner Bereiche zählen nicht mit. Wie sich Sperren auf echte Zitate auswirken, misst sie nicht.

Häufige Fragen

Weiterlesen

• GPTBot & robots.txt: KI-Crawler richtig steuern
• llms.txt: 100 deutsche Websites geprüft – wer die Datei nutzt
• Redirect-Checker: Weiterleitungen, Ketten und Statuscodes prüfen