robots.txt
Auch: Robots Exclusion Protocol, REP
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern mitteilt, welche Pfade sie abrufen dürfen und welche nicht. Sie steuert das Crawling, nicht die Indexierung, und ist eine Bitte, keine Zugangssperre.
Bevor ein seriöser Crawler eine Seite Ihrer Website abruft, fragt er eine kleine Textdatei ab: /robots.txt. Darin steht, welche Bereiche er besuchen darf. Die Datei ist über 30 Jahre alt, besteht aus wenigen Zeilen und gehört trotzdem zu den Stellen, an denen sich die folgenreichsten SEO-Fehler verstecken.
Dieser Eintrag erklärt das Prinzip, die Lesart der Crawler und die Grenzen der Datei. Und er zeigt, warum ein einziges fehlendes Zeichen in der robots.txt eines Portals darüber entscheiden kann, ob Google einen gekauften Link überhaupt zu sehen bekommt.
Von der Mailingliste zum Internetstandard
Die robots.txt entstand aus einem praktischen Ärgernis. Frühe Webcrawler riefen 1993 und 1994 Server im Sekundentakt ab, verfingen sich in endlosen Verzeichnisbäumen oder lösten Skripte aus. Der Webmaster Martijn Koster, dessen eigener Server betroffen war, schlug deshalb eine einfache Konvention vor: eine Datei an fester Stelle, in der Betreiber Bereiche für Robots sperren. Am 30. Juni 1994 einigten sich die Teilnehmer einer Mailingliste für Robot-Entwickler auf das Dokument „A Standard for Robot Exclusion“, das bis heute auf robotstxt.org steht.
Ein offizieller Standard war das lange nicht. Das Dokument sagt selbst, es werde von niemandem durchgesetzt. Jede Suchmaschine las die Datei etwas anders, Grenzfälle wie Platzhalter, Dateigröße oder Serverfehler blieben ungeregelt. 2019 reichte Google zusammen mit Koster einen Entwurf bei der IETF ein und veröffentlichte seinen eigenen Parser als Open Source. Im September 2022 erschien daraus RFC 9309, das Robots Exclusion Protocol (REP) als Internetstandard.
Der Standard regelt seither unter anderem, dass Crawler mindestens die ersten 500 Kibibyte der Datei auswerten müssen und dass bei mehreren passenden Regeln die mit dem längsten Pfad gilt. Und er hält in einem Satz fest, was viele Betreiber übersehen: Die Regeln sind keine Form der Zugangsberechtigung.
Wie ein Crawler die Datei liest
Die Datei liegt immer unter /robots.txt im Hauptverzeichnis und gilt nur für genau diesen Host. Sie besteht aus Gruppen: Eine oder mehrere User-agent-Zeilen nennen den Crawler, darunter folgen Disallow– und Allow-Regeln mit Pfaden. Jeder Crawler folgt genau einer Gruppe, der mit dem spezifischsten passenden Namen; * steht für alle übrigen.
Entscheidend ist, dass Pfade als Anfang einer URL gelesen werden. Eine Regel trifft jede Adresse, die mit diesem Pfad beginnt, nicht nur das gleichnamige Verzeichnis. Die Tabelle zeigt, was das in der Praxis heißt:
| Regel | sperrt zum Beispiel | sperrt nicht |
|---|---|---|
Disallow: /partner | /partner, /partner/login, /partnerbeitraege/ | /unsere-partner/ |
Disallow: /partner/ | /partner/login, /partner/liste | /partner, /partnerbeitraege/ |
Disallow: /*.pdf$ | /preise.pdf, /info/flyer.pdf | /preise.pdf?v=2 |
Disallow: / | die gesamte Website | nichts |
Disallow: (leer) | nichts, die Regel wird ignoriert | alles bleibt erlaubt |
Pfade unterscheiden Groß- und Kleinschreibung, Feldnamen nicht. Fehlt die Datei oder antwortet der Server mit einem 4xx-Statuscode (außer 429), behandelt Google die Website laut seiner Spezifikation so, als gäbe es keine Einschränkungen. Wie Sie eine Datei mit Platzhaltern, Sitemap-Zeile und Vorgaben für WordPress zusammenstellen, zeigt der robots.txt-Generator ausführlich.
Crawling ist nicht Indexierung
Das häufigste Missverständnis: Eine Sperre in der robots.txt halte eine Seite aus Google heraus. Google widerspricht dem in seiner Einführung zu robots.txt-Dateien ausdrücklich. Die Datei diene hauptsächlich dazu, eine Überlastung der Website mit Anfragen zu vermeiden, nicht dazu, Seiten aus der Suche auszuschließen.
Der Grund liegt im Ablauf. Die robots.txt verbietet den Abruf, nicht das Wissen um eine Adresse. Verlinken andere Seiten auf eine gesperrte URL, kann Google sie trotzdem in den Index aufnehmen, dann ohne Beschreibung, aber unter Umständen mit dem Ankertext der verweisenden Links. In der Search Console erscheint das als Status „Indexiert, obwohl durch robots.txt-Datei blockiert“. Was beim Übergang vom Abruf in den Index geschieht, erklärt der Eintrag Indexierung.
- Aus dem Index halten Sie eine Seite mit
noindexim Meta-Robots-Tag oder, bei PDFs und Bildern, im X-Robots-Tag. Dafür muss der Crawler die Seite abrufen dürfen, sonst sieht er die Anweisung nie. - Vor Menschen schützen Sie Inhalte nur mit Passwort oder Zugriffsbeschränkung auf dem Server. Die robots.txt selbst ist öffentlich und verrät damit sogar, welche Pfade jemand verbergen möchte.
- noindex in der robots.txt wirkt nicht. Google hat die Unterstützung solcher nie dokumentierten Regeln am 1. September 2019 eingestellt (Search Central Blog).
Regeln für KI-Crawler
Seit KI-Anbieter eigene Crawler betreiben, ist die robots.txt auch das wichtigste Steuerinstrument dafür, ob Ihre Inhalte in Sprachmodelle und KI-Antworten einfließen. Die Datei selbst hat sich dafür nicht geändert: Jeder Crawler wird mit seinem Namen angesprochen, ein gemeinsames Kürzel für „alle KI-Bots“ gibt es nicht.
Wichtig ist die Unterscheidung nach Aufgabe. Manche Kennungen sammeln Trainingsmaterial, andere bauen den Index für KI-Suchen, wieder andere holen eine Seite nur, weil ein Nutzer gerade danach fragt; für Letztere gilt die robots.txt laut den Betreibern nicht immer. Dazu kommen Steuerwörter wie Google-Extended, die in der Datei wie ein Crawlername stehen, selbst aber nichts abrufen. Die Gruppen und ihre Folgen ordnet der Eintrag KI-Crawler ein.
Für die Nennung in KI-Antworten ist das der Kern: Wer den Trainings-Crawler GPTBot sperrt, bleibt nach OpenAIs Angaben in der ChatGPT-Suche sichtbar. Wer dagegen OAI-SearchBot sperrt, erscheint dort laut OpenAI nicht mehr in Suchantworten. Die dokumentierten Kennungen und fertige Konfigurationen stehen im Beitrag GPTBot & robots.txt: KI-Crawler richtig steuern.
Was eine Sperre für Backlinks bedeutet
Für den Linkaufbau ist die robots.txt vor allem ein Prüfpunkt, und zwar auf beiden Seiten eines Links. Drei Fälle lassen sich unterscheiden.
- Die Seite mit Ihrem Link ist gesperrt. Google ruft gesperrte Seiten nicht ab. Folgerichtig sieht der Googlebot auch die Links nicht, die darauf stehen. Ein gekaufter Gastbeitrag in einem gesperrten Bereich ist für Google damit unsichtbar, gleichgültig, welches Linkattribut er trägt.
- Ihre Zielseite ist gesperrt. Google kann die URL über den Link finden und indexieren, kennt aber ihren Inhalt nicht. Wie Google Linksignale auf eine Seite wertet, die es nicht abrufen darf, ist nicht dokumentiert. Sicher ist nur: Ranken kann eine Seite ohne bekannten Inhalt kaum für passende Suchanfragen.
- Das Medium sperrt KI-Such-Crawler. Für Google bleibt der Link sichtbar. In Antworten von KI-Suchen, deren Crawler ausgesperrt sind, dürfte der Beitrag aber kaum als Quelle erscheinen. Für die Nennung in KI-Antworten zählt das mehr als für das Ranking.
Prüfpunkt vor jeder Buchung: Rufen Sie https://domain-des-mediums/robots.txt auf und gleichen Sie die Regeln der Gruppe User-agent: * und, falls vorhanden, User-agent: Googlebot mit dem Pfad ab, unter dem Ihr Beitrag erscheinen soll. Weitere Prüfkriterien sammelt der Beitrag Backlinks bewerten.
Beispiel: ein Schrägstrich zu wenig
Konstruiertes Beispiel: Ein Fachportal für Haustechnik richtet einen Login-Bereich für Werbekunden unter /partner/ ein. Damit Suchmaschinen die Anmeldeseiten nicht abrufen, ergänzt die Technik in der robots.txt die Zeile Disallow: /partner, ohne abschließenden Schrägstrich.
Gesponserte Beiträge veröffentlicht das Portal seit Jahren unter /partnerbeitraege/. Weil die Regel als Anfang der URL gelesen wird, sperrt sie diesen Bereich gleich mit. Der Googlebot ruft die Beiträge nicht mehr ab; neu veröffentlichte erscheinen höchstens als nackte URL ohne Beschreibung, und die Links darin sieht Google nicht. Im Seitenindexierungsbericht der Search Console tauchen die Adressen als von der robots.txt blockiert auf, doch dieser Bericht steht nur dem Portalbetreiber zur Verfügung.
Ein Werbekunde bemerkt den Fehler bei der Abnahme seiner Platzierung, weil er vor der Rechnungsfreigabe die robots.txt prüft. Die Korrektur ist ein einziges Zeichen: Disallow: /partner/ sperrt nur noch den Login-Bereich. Danach dauert es, bis Google die Datei neu abruft, laut Spezifikation wird sie in der Regel bis zu 24 Stunden zwischengespeichert, und die Beiträge erneut crawlt.
Die Lehre: Sperrregeln immer mit abschließendem Schrägstrich schreiben, wenn ein Verzeichnis gemeint ist, und nach jeder Änderung prüfen, welche bestehenden URLs mit demselben Anfang beginnen.
Häufige Fragen
Braucht jede Website eine robots.txt?
Nein. Fehlt die Datei oder liefert der Server einen 404-Fehler, geht Google davon aus, dass es keine Einschränkungen gibt, und crawlt alles Erreichbare. Sinnvoll ist eine robots.txt, wenn Sie Bereiche wie interne Suchergebnisse, Filterseiten oder Login-Bereiche vom Crawling ausnehmen oder KI-Crawler gezielt steuern wollen.
Was bedeutet „Indexiert, obwohl durch robots.txt-Datei blockiert“?
Google hat die URL nicht abgerufen, sie aber über Links von anderen Seiten gefunden und in den Index aufgenommen. Soll die Seite nicht in der Suche erscheinen, entfernen Sie die Sperre und setzen noindex; soll sie erscheinen, entfernen Sie nur die Sperre.
Halten sich alle Crawler an die robots.txt?
Nein. Der Googlebot und andere seriöse Crawler befolgen sie, verpflichtet ist dazu niemand. RFC 9309 hält ausdrücklich fest, dass die Regeln keine Zugangsberechtigung sind. Wer Inhalte wirklich schützen will, braucht Passwortschutz oder Serverregeln.
Ist die robots.txt noch wichtig?
Ja, sogar wichtiger als vor einigen Jahren. Neben dem Crawling durch Suchmaschinen entscheidet sie heute auch darüber, welche KI-Crawler Ihre Inhalte für Training oder KI-Suche abrufen dürfen. Ein Fehler darin kann ganze Bereiche aus Google und aus KI-Antworten nehmen.