Meta Robots

Auch: Robots-Meta-Tag

Manche Seiten sollen gar nicht in die Suchergebnisse: interne Suchergebnisseiten, Danke-Seiten nach einem Formular, Testumgebungen. Andere dürfen erscheinen, aber ohne Textausschnitt. Für solche Wünsche gibt es eine kurze Zeile im Kopfbereich der Seite, das Robots-Meta-Tag.

Für das Linkbuilding ist die Angabe doppelt relevant. Sie entscheidet, ob eine Seite mit Ihrem Backlink überhaupt im Index steht, und sie kann alle Links einer Seite auf einmal mit nofollow belegen. Wer Links bewertet, sollte sie deshalb lesen können.

Wie Suchmaschinen die Angabe lesen

Das Tag steht im head der Seite und besteht aus einem Namen und einem oder mehreren Werten:

<head>
  <meta name="robots" content="noindex, nofollow">
</head>

Der Name robots richtet sich an alle Suchmaschinen-Crawler. Wer nur Google ansprechen will, schreibt googlebot oder für Google News googlebot-news; andere Namen ignoriert Google im Meta-Tag. Groß- und Kleinschreibung spielt keine Rolle. Google wertet das Tag laut Spezifikation des Robots-Meta-Tags sogar dann aus, wenn es versehentlich im body steht.

Drei Grundregeln entscheiden, ob die Angabe wirkt:

• Der Crawler muss die Seite abrufen dürfen. Sperrt die robots.txt die URL, sieht Google das Tag nie, und die Adresse kann trotzdem in den Ergebnissen auftauchen, etwa weil andere Seiten auf sie verlinken.
• Bei Widersprüchen gilt die strengere Regel. Stehen max-snippet:50 und nosnippet nebeneinander, gewinnt nosnippet.
• Mehrere Tags werden addiert. Steht nofollow für alle Crawler und noindex für den Googlebot, liest Google die Seite als noindex, nofollow.

Für PDFs, Bilder und andere Dateien ohne HTML-Kopf gibt es dieselben Werte als HTTP-Header. Das ist der X-Robots-Tag mit eigenem Eintrag.

Die Werte im Überblick

Google dokumentiert eine feste Liste an Regeln. Alles, was nicht darin steht, ist für Google ohne Wirkung; andere Suchmaschinen können einzelne Werte anders auslegen.

Wert	Wirkung bei Google	Typischer Einsatz
all	keine Einschränkung, Standardwert	muss nicht gesetzt werden
noindex	Seite erscheint nicht in den Suchergebnissen	interne Suche, Danke-Seiten, Testumgebung
nofollow	Links der Seite nicht folgen	Seiten mit Links, für die niemand einstehen will
none	entspricht noindex, nofollow	Kurzform
nosnippet	kein Textausschnitt, auch keine direkte Nutzung für AI Overviews und KI-Modus	Inhalte, die nicht zitiert werden sollen
max-snippet:[Zahl]	begrenzt den Textausschnitt, auch für KI-Funktionen	Verlage mit Längenvorgaben
max-image-preview	Größe der Bildvorschau: none, standard, large	Bildrechte, Discover
noimageindex	Bilder der Seite nicht indexieren	lizenzierte Fotos
unavailable_after:[Datum]	nach dem Datum nicht mehr anzeigen	befristete Aktionen
noarchive	wird nicht mehr genutzt, Cache-Link gibt es nicht mehr	kann entfallen

Für die Sichtbarkeit in KI-Antworten sind nosnippet und max-snippet die wichtigsten Werte: Google schreibt ausdrücklich, dass sie auch begrenzen, wie viel Inhalt als direkte Eingabe für AI Overviews und den KI-Modus dient. Wer in KI-Antworten genannt werden will, sollte diese Werte nicht vorsorglich setzen. Wie Sie KI-Crawler darüber hinaus steuern, zeigt der Beitrag GPTBot und robots.txt.

Seitenweites nofollow und nofollow am Link

Der Wert nofollow kommt zweimal vor, und die beiden werden oft verwechselt. Im Meta-Tag gilt er für alle Links der Seite auf einmal, interne wie externe. Am einzelnen Link, als rel="nofollow", gilt er nur für diesen einen Verweis. Was der Wert am Link bedeutet, erklärt der Eintrag Nofollow-Link.

Google behandelt beide Formen als Hinweis, nicht als harte Sperre. In der Anleitung zu noindex spricht Google ausdrücklich von einem „nofollow hint“, den man mit noindex kombinieren kann. In der Dokumentation zu Linkattributen heißt es, dass von den rel-Werten nur nofollow auch als Robots-Meta-Tag verfügbar ist. Für sponsored und ugc gibt es keine Seitenvariante.

	meta name=“robots“ content=“nofollow“	rel=“nofollow“ am Link
Reichweite	alle Links der Seite	nur dieser Link
Steht im	Kopfbereich der Seite	a-Element im Text
Unterscheidet bezahlt und unbezahlt	nein	ja, mit sponsored und ugc als Alternativen
Sichtbar im Quelltext des Links	nein	ja
Typischer Fehler	bleibt nach dem Relaunch stehen	auf interne Links gesetzt

Nicht zu verwechseln sind beide mit rel="noopener" und rel="noreferrer". Diese Werte richten sich an den Browser, nicht an Suchmaschinen; der Eintrag noopener und noreferrer grenzt sie ab. Wie alle rel-Werte zusammenhängen, ordnet der Eintrag Linkattribut.

Was noindex für Backlinks bedeutet

Für den Linkaufbau ist noindex der wichtigere Wert. Google schreibt, dass eine Seite mit dieser Angabe vollständig aus den Suchergebnissen fällt, und zwar unabhängig davon, ob andere Websites auf sie verlinken. Backlinks schützen eine Seite also nicht vor einem gesetzten noindex. Wer eine wichtige Zielseite versehentlich auf noindex stellt, verliert ihre Rankings, egal wie stark ihr Linkprofil ist.

Der umgekehrte Fall betrifft die Quelle: Ihr Link steht auf einer Seite, die selbst noindex trägt. Ob und wie lange Google die Links auf einer nicht indexierten Seite auswertet, dokumentiert Google nicht. Sicher ist nur, dass die Seite in der Suche nicht erscheint und keine Besucher über Google bekommt. Trägt sie zusätzlich nofollow, signalisiert der Betreiber ausdrücklich, dass er für keinen ihrer Links einsteht.

Der Hinweis gilt auch für bestehende Platzierungen. Manche Portale stellen ältere Beiträge oder Archivseiten nachträglich auf noindex. Ein Link, der beim Kauf auf einer indexierten Seite stand, kann so Monate später auf einer stehen, die Google nicht mehr zeigt.

Abgrenzung: Meta Robots, X-Robots-Tag und robots.txt

Drei Werkzeuge klingen ähnlich und werden oft vermischt. Sie arbeiten auf verschiedenen Ebenen:

• robots.txt regelt das Crawling: Darf der Crawler eine URL überhaupt abrufen? Sie verhindert nicht zuverlässig, dass eine URL im Index erscheint. Eine Angabe noindex in der robots.txt unterstützt Google nicht.
• Meta Robots regelt Indexierung und Darstellung einer HTML-Seite, setzt aber voraus, dass der Crawler sie abrufen darf.
• X-Robots-Tag transportiert dieselben Regeln im HTTP-Header und funktioniert deshalb auch für Dateien ohne HTML.

Der klassische Fehler ist die Kombination aus beidem: Eine Seite steht auf noindex, wird aber zusätzlich in der robots.txt gesperrt, damit sie „schneller verschwindet“. Das Gegenteil passiert. Der Crawler darf die Seite nicht mehr abrufen, sieht das noindex nie, und die URL kann im Index bleiben. Die richtige Reihenfolge: erst noindex wirken lassen, eine Sperre in der robots.txt höchstens danach.

Beispiel und typische Fehler aus der Praxis

Ein angenommenes Beratungsunternehmen baut seine Website neu. Damit die Testversion nicht in die Suche gerät, aktiviert die Agentur in WordPress unter „Einstellungen“ → „Lesen“ die Option, Suchmaschinen von der Indexierung abzuhalten. WordPress setzt dann ein noindex in den Robots-Meta-Tag jeder Seite. Beim Umzug der neuen Website auf die echte Domain bleibt der Haken gesetzt.

Die Folge zeigt sich nach einigen Tagen bis Wochen, je nachdem, wie oft Google die Seiten besucht: Die Search Console meldet ausgeschlossene Seiten, die Rankings brechen ein. Die Backlinks, die über Jahre aufgebaut wurden, ändern daran nichts. Nach dem Entfernen des Hakens müssen die Seiten neu gecrawlt werden; bei wenig besuchten Unterseiten kann das laut Google Monate dauern.

Weitere Fehler, die in Audits regelmäßig auftauchen:

• noindex per JavaScript entfernen: Steht noindex im ursprünglichen HTML, überspringt Google laut seiner JavaScript-Dokumentation unter Umständen das Rendern. Ein Skript, das den Wert später entfernt, greift dann nicht.
• noindex gegen Duplikate: Für gleiche Inhalte unter mehreren Adressen ist der Canonical-Tag das passende Mittel, nicht noindex.
• nofollow aus Gewohnheit: Ein seitenweites nofollow im Theme trifft auch alle internen Links und erschwert Google das Auffinden neuer Seiten.

Häufige Fragen

Alle 327 Begriffe im Glossar