Google-Extended

Auch: Product Token, Steuertoken

Wer seine Inhalte nicht für das Training von Googles KI-Modellen hergeben will, aber in der Google-Suche sichtbar bleiben muss, landet früher oder später bei Google-Extended. Der Name klingt nach einem weiteren Crawler. Tatsächlich ist es ein Steuerwort, das nur in der robots.txt existiert und an keinem Server jemals anklopft.

Gerade weil es so wenig sichtbar ist, ranken sich um das Token hartnäckige Annahmen: Es entferne Seiten aus den AI Overviews, es koste Rankings, man könne seine Wirkung im Logfile prüfen. Keine davon stimmt. Dieser Eintrag ordnet ein, was Google-Extended laut Google-Dokumentation tatsächlich regelt, und grenzt es von den anderen Schaltern ab, die Google seit 2026 anbietet.

Ein Steuerwort, kein Crawler

Google führt Google-Extended in seiner Übersicht der gängigen Crawler, beschreibt es dort aber ausdrücklich als eigenständiges Product Token. Es gibt keinen eigenen User-Agent-String in HTTP-Anfragen. Abgerufen werden die Seiten mit den bestehenden Google-Crawlern, das Token wird in der robots.txt nur „in steuernder Funktion“ ausgewertet.

Praktisch heißt das: Der Googlebot holt eine Seite einmal ab, und erst bei der späteren Verwendung prüft Google, ob die robots.txt für Google-Extended eine Sperre enthält. Die Regel steht in einer gewöhnlichen Gruppe, wie bei jedem anderen User-Agent:

User-agent: Google-Extended
Disallow: /

Auch Teilsperren sind möglich, etwa Disallow: /ratgeber/ für einen einzelnen Bereich. Wie Gruppen, Pfade und Platzhalter in der robots.txt grundsätzlich funktionieren, erklärt der Eintrag robots.txt; eine fertige Datei mit KI-Regeln baut der robots.txt-Generator.

Was das Token erfasst und was nicht

Google beschreibt den Geltungsbereich in einem einzigen, sehr dichten Satz. Erfasst sind zwei Verwendungen: das Training künftiger Generationen der Gemini-Modelle, die Gemini-Apps und die Vertex AI API für Gemini antreiben, und das Grounding in den Gemini-Apps sowie bei „Grounding with Google Search“ auf Vertex AI. Grounding meint dabei, dass dem Modell zum Zeitpunkt der Anfrage Inhalte aus dem Google-Suchindex mitgegeben werden, damit die Antwort sachlich stimmt und aktuell ist. Den Mechanismus beschreibt der Eintrag Grounding.

Bereich	Folge von Disallow für Google-Extended
Training künftiger Gemini-Modelle	Inhalte werden dafür nicht verwendet
Grounding in den Gemini-Apps	Inhalte stehen als Antwortgrundlage nicht zur Verfügung
Grounding with Google Search (Vertex AI)	Inhalte stehen als Antwortgrundlage nicht zur Verfügung
Aufnahme in die Google-Suche	laut Google kein Einfluss
Ranking in der Google-Suche	laut Google kein Rankingsignal
AI Overviews und KI-Modus	nicht über dieses Token gesteuert

Der Punkt, der in vielen Anleitungen fehlt, ist das Grounding. Google-Extended ist also nicht nur eine Trainingssperre. Wer es setzt, entzieht seine Inhalte auch den Live-Antworten der Gemini-Apps, und dort entstehen Quellenangaben. Für Unternehmen, die in Gemini als Quelle erscheinen wollen, hat die Sperre damit einen Preis, der bei einer reinen Trainingssperre wie für den GPTBot von OpenAI nicht anfällt.

Von Bard bis zum Search-Console-Schalter

Die Steuerung ist jünger, als ihr Stellenwert vermuten lässt, und sie hat sich seit dem Start verändert:

• 28. September 2023: Google stellt Google-Extended im Blogbeitrag „An update on web publisher controls“ vor. Damals ging es darum, ob Websites helfen, Bard und die generativen APIs von Vertex AI zu verbessern, einschließlich künftiger Modellgenerationen.
• Heute: Die Dokumentation nennt statt Bard die Gemini-Apps und führt neben dem Training ausdrücklich das Grounding auf.
• 3. Juni 2026: Google beginnt in Großbritannien, eine Einstellung in der Search Console zu testen, mit der Websites sich aus den generativen KI-Funktionen der Suche herausnehmen können. Google nennt dabei Google-Extended als Vorläufer, behandelt die neue Einstellung aber als eigenes Werkzeug.
• 31. August 2026: Laut Nachtrag im Google-Blog steht diese Einstellung allen Websites weltweit zur Verfügung.
• Anfang 2027 (angekündigt): Google will zusätzlich das herstellerübergreifende Trainings-Präferenzsignal der IETF-Arbeitsgruppe AIPREF unterstützen. Wie es sich zu Google-Extended verhalten wird, beschreibt die Dokumentation noch nicht.

Drei Schalter, drei Wirkungen

Seit August 2026 gibt es für Google-Inhalte also drei Ebenen der Steuerung, die oft in einen Topf geworfen werden. Sie wirken auf unterschiedliche Produkte und lassen sich unabhängig voneinander setzen.

1. Google-Extended in der robots.txt regelt Gemini-Training und Gemini-Grounding. Suche, Ranking, AI Overviews und KI-Modus bleiben davon unberührt.
2. Die Einstellung in der Search Console regelt, ob eine Website in den generativen KI-Funktionen der Suche erscheint und Antworten dort fundieren darf, also in AI Overviews, im KI-Modus und in den AI Overviews in Discover. Websites, die sich herausnehmen, erhalten aus diesen Funktionen weder Klicks noch Impressionen; als Rankingsignal für die übrigen Suchergebnisse dient die Einstellung laut Google nicht.
3. Die klassischen Suchsteuerungen wirken auf die gesamte Suche: Eine Sperre des Googlebot oder noindex nimmt Seiten ganz heraus, nosnippet, data-nosnippet und max-snippet begrenzen, welche Textausschnitte Google zeigt.

Googles Leitfaden zu generativen KI-Funktionen in der Suche fasst die Voraussetzungen zusammen: Eine Seite muss indexiert sein, mit Snippet angezeigt werden dürfen und die Website muss in der Search Console für die generativen KI-Funktionen zugelassen sein. Google-Extended taucht in dieser Liste nicht auf. Wie AI Overviews ihre Quellen auswählen, zeigt der Beitrag zum Google KI-Modus.

Typische Fehler beim Einsatz

• Im Logfile nach dem Token suchen. Weil kein eigener User-Agent existiert, taucht „Google-Extended“ in keiner Server-Protokolldatei auf. Wer daraus schließt, die Sperre werde ignoriert, liest das Logfile richtig und die Mechanik falsch.
• Den Googlebot sperren, um Gemini auszusperren. Wer statt des Tokens den Googlebot ausschließt, verliert die organische Suche und mit ihr AI Overviews und KI-Modus. Für das Training ist das die teuerste denkbare Lösung.
• Eine Wirkung auf AI Overviews erwarten. Dafür ist seit August 2026 die Search-Console-Einstellung zuständig, nicht die robots.txt.
• Rückwirkung annehmen. Google spricht von künftigen Modellgenerationen. Ob und wie Inhalte aus bereits trainierten Modellen entfernt werden, beschreibt die Dokumentation nicht.
• Nur die Hauptdomain pflegen. Eine robots.txt gilt für genau einen Host. Für shop.beispiel.de oder blog.beispiel.de braucht die Sperre eine eigene Datei.

Was das Token für Platzierungen auf fremden Seiten bedeutet

Ein angenommenes Beispiel: Ein Maschinenbauer veröffentlicht einen Fachbeitrag mit Link in einem Branchenmagazin. Das Magazin sperrt in seiner robots.txt Google-Extended, lässt den Googlebot aber zu und hat in der Search Console nichts verändert. Für die Google-Suche wirkt der Link wie jeder andere redaktionelle Backlink, und der Beitrag kann in AI Overviews als Quelle auftauchen. In den Gemini-Apps dagegen steht der Text nicht als Antwortgrundlage zur Verfügung, eine Nennung des Maschinenbauers lässt sich dort nicht über diesen Beitrag erreichen.

Für die Auswahl von Zielmedien heißt das: Ein Blick in deren robots.txt gehört zur Prüfung dazu, und Google-Extended ist dabei nur eine von mehreren Zeilen. Wer zusätzlich wissen will, welche Folgen Sperren für OpenAI, Anthropic oder Perplexity haben, findet die Übersicht aller KI-Crawler im Glossar und die vollständige Abwägung mit drei fertigen Konfigurationen im Beitrag GPTBot und robots.txt: KI-Crawler richtig steuern.

Für die eigene Website bleibt die Entscheidung eine Haltungsfrage mit überschaubaren Folgen: Die Sperre kostet keine Rankings und keine Präsenz in den AI Overviews, wohl aber mögliche Quellenangaben in Gemini. Wer mit seinen Inhalten Geld verdient, wird das anders gewichten als ein Hersteller, der über Inhalte Anfragen gewinnen will.

Häufige Fragen

Alle 327 Begriffe im Glossar