GPTBot

Auch: OpenAI-Crawler, OpenAI GPTBot

GPTBot ist der bekannteste Name unter den KI-Crawlern. Für viele Unternehmen war er der Anlass, sich überhaupt wieder mit ihrer robots.txt zu beschäftigen. OpenAI dokumentiert den Crawler seit August 2023, seither steht User-agent: GPTBot in vielen Dateien, oft ohne dass klar ist, was die Zeile bewirkt.

Dieser Eintrag behandelt nur GPTBot: was er laut OpenAI tut, wie Sie echte von gefälschten Abrufen unterscheiden, wie Sie ihn ganz oder teilweise ausschließen und welche Erwartungen eine Sperre nicht erfüllt. Wie sich die KI-Crawler insgesamt einteilen lassen, erklärt der Eintrag KI-Crawler.

Ein Crawler, eine Aufgabe: Trainingsmaterial

OpenAI beschreibt GPTBot in seiner Dokumentation zu Crawlern und User-Agents knapp: Der Crawler ruft Inhalte ab, die für das Training der generativen Foundation-Modelle verwendet werden können, also der großen Basismodelle, auf denen ChatGPT und die OpenAI-Schnittstellen aufbauen. Wer GPTBot ausschließt, zeigt laut OpenAI an, dass die Inhalte der Website nicht für dieses Training genutzt werden sollen.

Ebenso wichtig ist, was GPTBot nicht tut. Für die Websuche in ChatGPT, also für Quellen mit Link in einer Antwort, ist OAI-SearchBot zuständig. Ruft ChatGPT während eines Gesprächs eine bestimmte Seite auf, meldet sich ChatGPT-User. Für Anzeigen in ChatGPT prüft OAI-AdsBot die eingereichten Zielseiten. OpenAI betont, dass die Einstellungen für GPTBot und OAI-SearchBot unabhängig voneinander sind.

Ein Nebensatz der Dokumentation wird oft übersehen: Haben Sie beide Crawler zugelassen, kann OpenAI das Ergebnis eines einzigen Abrufs für beide Zwecke verwenden, um doppeltes Crawlen zu vermeiden. Wenige GPTBot-Zeilen im Log bedeuten deshalb nicht automatisch, dass wenig für das Training gesammelt wird. Wie sich Trainingswissen und aktueller Abruf in einem Modell unterscheiden, erklärt der Eintrag Trainingsdaten und Live-Abruf, die Suchfunktion selbst der Eintrag ChatGPT-Suche.

So erkennen Sie GPTBot im Server-Log

GPTBot meldet sich mit einer festen Kennung im User-Agent. Die Beispielzeile in OpenAIs Dokumentation lautet derzeit wie folgt, wobei sich die Versionsnummer laut OpenAI ändern kann:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Beim Abruf der robots.txt kann OpenAI zusätzlich die Markierung robots.txt in die Kennung einfügen. So lassen sich Abrufe der Datei von Abrufen der Inhalte unterscheiden, auch wenn das Log keine Pfade enthält.

Die Kennung allein beweist allerdings nichts, denn jedes Programm kann sie setzen. Belastbar wird die Zuordnung erst über die IP-Adresse. OpenAI veröffentlicht die Adressbereiche von GPTBot als maschinenlesbare Liste unter openai.com/gptbot.json. Die Datei trägt ein Erstellungsdatum und wird fortgeschrieben; beim Abruf am 7. November 2026 stammte sie vom 22. September 2026 und enthielt 18 IPv4-Bereiche. Ein Abgleich gelingt mit wenigen Zeilen Python:

import ipaddress, json, urllib.request
ip = ipaddress.ip_address("20.171.206.12")
liste = json.load(urllib.request.urlopen("https://openai.com/gptbot.json"))
print(any(ip in ipaddress.ip_network(p["ipv4Prefix"])
          for p in liste["prefixes"] if "ipv4Prefix" in p))

Gibt das Skript True aus, liegt die Adresse in einem veröffentlichten GPTBot-Bereich. Bei False nutzt ein anderer Client den Namen. Solche Abrufe sind kein Fall für die robots.txt, sondern für Regeln auf dem Server oder in der Firewall.

GPTBot in der robots.txt steuern

Gesteuert wird über den Namen GPTBot in der Zeile User-agent. Drei Varianten decken die meisten Fälle ab:

Ziel	Eintrag in der robots.txt	Wirkung
ganz ausschließen	User-agent: GPTBot Disallow: /	keine Inhalte der Website für das Training
einen Bereich ausschließen	User-agent: GPTBot Disallow: /handbuch/	nur der genannte Pfad bleibt außen vor
zulassen	kein eigener Eintrag	GPTBot folgt den Regeln für User-agent: *

Die dritte Zeile beruht auf einer Regel des Robots Exclusion Protocol, festgeschrieben in RFC 9309: Ein Crawler folgt der Gruppe, die ihn mit Namen nennt; nur wenn es keine solche Gruppe gibt, gilt die Gruppe mit Stern. Sobald GPTBot eine eigene Gruppe bekommt, gelten die allgemeinen Sperren für ihn nicht mehr. Wer etwa /wp-admin/ für alle sperrt und GPTBot zusätzlich /handbuch/ verbietet, muss /wp-admin/ in der GPTBot-Gruppe wiederholen.

Wie schnell OpenAI eine Änderung umsetzt, steht in der Dokumentation nur für die Suche: Bis Suchergebnisse eine geänderte robots.txt berücksichtigen, könne es rund 24 Stunden dauern. Für GPTBot nennt OpenAI keinen Zeitraum. Wie die Datei insgesamt aufgebaut ist, erklärt der Eintrag robots.txt; eine fertige Datei mit KI-Regeln erzeugt der robots.txt-Generator.

Was eine Sperre bewirkt und was nicht

Eine GPTBot-Sperre ist eine klar umrissene Aussage. Sie wird häufig mit Erwartungen verbunden, die die Dokumentation nicht trägt:

• Sie bewirkt ein Signal an OpenAI, die Inhalte der Website nicht für das Training der Foundation-Modelle zu verwenden.
• Sie kostet keine Sichtbarkeit in der ChatGPT-Suche. Dafür zählt OAI-SearchBot. OpenAI nennt ausdrücklich den Fall, OAI-SearchBot zuzulassen und GPTBot zu sperren.
• Sie ist nicht als rückwirkend dokumentiert. Die Dokumentation beschreibt die Sperre als Hinweis zur Verwendung der Inhalte; zu Material, das vor der Sperre gesammelt wurde, macht sie keine Aussage.
• Sie erfasst keine Kopien. Zitate Ihrer Texte auf fremden Websites oder in offenen Datensätzen liegen außerhalb Ihrer robots.txt. Der offene Web-Datensatz Common Crawl etwa wird von einem eigenen Crawler namens CCBot gesammelt, den eine GPTBot-Zeile nicht betrifft.
• Sie ist kein Zugriffsschutz. Die robots.txt ist eine Vereinbarung, die seriöse Betreiber einhalten. Wer Abrufe technisch verhindern muss, braucht Server- oder Firewall-Regeln, abgeglichen mit der IP-Liste.

Beispiel: Handbuch aus dem Training, Ratgeber offen

Ein angenommenes Beispiel: Ein Hersteller von Messtechnik betreibt einen öffentlichen Ratgeber mit Anwendungsfällen und ein technisches Online-Handbuch zu seinen Geräten. Der Ratgeber soll weiter in KI-Antworten als Quelle auftauchen können. Das Handbuch möchte die Geschäftsführung nicht als Trainingsmaterial sehen. Die bisherige robots.txt sperrt nur /wp-admin/ für alle Crawler.

User-agent: GPTBot
Disallow: /handbuch/
Disallow: /wp-admin/

User-agent: *
Disallow: /wp-admin/

Die Wiederholung von /wp-admin/ in der ersten Gruppe ist die Folge der Regel aus RFC 9309. OAI-SearchBot wird nicht genannt und fällt damit unter die Stern-Gruppe: Ratgeber und Handbuch bleiben für die ChatGPT-Suche erreichbar. Soll auch das Handbuch nicht als Suchquelle dienen, braucht OAI-SearchBot eine eigene Gruppe, mit der Folge, dass diese Seiten in Suchantworten fehlen.

Zur Kontrolle ruft das Team nach dem Deploy die Live-Datei ab und prüft einige Tage später im Log, ob GPTBot unter /handbuch/ nur noch die robots.txt abfragt. Taucht dort trotzdem ein „GPTBot“ auf, kommt der IP-Abgleich aus dem vorigen Abschnitt zum Einsatz.

Sperren oder zulassen: eine Grundsatzfrage

Für Rankings in Google spielt GPTBot keine Rolle, für die Quellen der ChatGPT-Suche laut OpenAI ebenfalls nicht. Die Entscheidung betrifft also allein, ob Ihre Texte in künftige Modellversionen einfließen dürfen. Ob und wie stark einzelne Websites das Wissen eines Modells prägen, legt OpenAI nicht offen; eine messbare Wirkung auf Nennungen in Antworten lässt sich deshalb weder versprechen noch ausschließen.

Naheliegend ist eine Sperre für Häuser, deren Texte selbst das Produkt sind, etwa Fachverlage oder Anbieter von Datenbanken und Kursen. Wer Inhalte nutzt, um Anfragen zu gewinnen, entscheidet eher nach Haltung, etwa nach Vorgaben aus Rechtsabteilung oder Betriebsrat. In beiden Fällen gilt: OAI-SearchBot nicht versehentlich mitsperren.

Drei fertige Konfigurationen für diese Abwägung und eine Übersicht aller dokumentierten KI-Crawler enthält der Beitrag GPTBot & robots.txt: KI-Crawler richtig steuern. Wie Sie danach prüfen, ob Ihre Marke in ChatGPT-Antworten vorkommt, zeigt GEO-Sichtbarkeit messen.

Häufige Fragen

Alle 327 Begriffe im Glossar