Googlebot

Auch: Google-Crawler, Googlebot Smartphone

Bevor eine Seite in der Google-Suche erscheinen kann, muss Google sie abrufen. Das erledigt der Googlebot: ein Programm, das Links folgt, Seiten herunterlädt und sie an die Indexierung weitergibt. In den Server-Logs fast jeder öffentlichen Website taucht er regelmäßig auf.

Für Technik und Linkaufbau ist er aus einem einfachen Grund wichtig: Was der Googlebot nicht abrufen kann, existiert für die Google-Suche nur als Adresse – das gilt für Ihre Seite ebenso wie für die Seite, auf der Ihr Backlink steht. Was ein Crawler allgemein ist, erklärt der Eintrag Crawler; hier geht es um Googles eigenen.

Zwei Crawler unter einem Namen

Google beschreibt den Googlebot als allgemeinen Namen für zwei Crawler der Google-Suche (Google-Dokumentation zum Googlebot): den Googlebot für Smartphones, der einen Nutzer mit Mobilgerät simuliert, und den Googlebot für Computer. Welche Variante gerade anfragt, steht im User-Agent der HTTP-Anfrage. In der robots.txt teilen sich beide dasselbe Token Googlebot; nur eine der beiden zu sperren, ist laut Google nicht möglich.

Den Großteil der Arbeit erledigt die Smartphone-Variante. Google indexiert bei den meisten Websites in erster Linie die mobile Fassung der Inhalte (Mobile-First-Indexierung) und crawlt deshalb überwiegend mobil. Bei responsivem Design ist das unkritisch, weil beide Varianten denselben HTML-Code erhalten. Wer dagegen getrennte mobile URLs betreibt oder je nach Gerät anderen Code ausliefert, muss darauf achten, dass die mobile Fassung alle wichtigen Inhalte und Links enthält.

Neben dem Googlebot betreibt Google weitere Crawler mit eigenem Token. Die Liste der gewöhnlichen Google-Crawler nennt unter anderem diese:

Token in der robots.txt	Wofür	Wirkung einer Sperre
Googlebot	Google-Suche einschließlich Discover, Bilder, Videomodus, News	Inhalte fehlen in Suche und Discover
Googlebot-Image	Bilder, Logos, Favicons	Bilder fehlen in Bildersuche und Suchfunktionen
Googlebot-News	Google News (kein eigener User-Agent im Log)	betrifft nur Google News
Storebot-Google	Google Shopping	betrifft Shopping-Flächen
Google-InspectionTool	URL-Prüfung, Test für Rich-Suchergebnisse	nur die Testwerkzeuge, nicht die Suche
GoogleOther	Abrufe einzelner Produktteams, etwa für Forschung	kein bestimmtes Produkt

Zwei Fälle sorgen regelmäßig für Verwirrung. Google-Extended ist kein eigener Crawler, sondern ein Steuertoken für die Nutzung von Inhalten in Gemini-Modellen; laut Google hat es keinen Einfluss auf die Aufnahme in die Google-Suche. Und die KI-Übersichten der Suche haben keinen eigenen Bot: Google zählt sie zur Suche, gesteuert wird über die Regeln für den Googlebot. Wie sich der Googlebot von den Crawlern der KI-Anbieter unterscheidet, zeigt der Beitrag GPTBot & robots.txt: KI-Crawler richtig steuern.

Was bei einem Besuch passiert

Ein Abruf durch den Googlebot läuft in festen Schritten ab. Google beschreibt sie in den Grundlagen zu JavaScript und Crawling sowie in der Dokumentation zum Googlebot:

1. Erlaubnis prüfen: Bevor der Googlebot eine URL aus seiner Warteschlange abruft, liest er die robots.txt. Ist der Pfad gesperrt, bleibt es beim Wissen um die Adresse.
2. Abrufen: Für die Google-Suche lädt er die ersten 2 MB einer HTML-Datei oder eines anderen unterstützten Dateityps und die ersten 64 MB einer PDF-Datei, gemessen unkomprimiert. Was dahinter steht, gelangt nicht in die Indexierung. CSS- und JavaScript-Dateien ruft er einzeln ab, jeweils mit derselben Grenze.
3. Links sammeln: Aus der Antwort liest er die URLs in href-Attributen von Links und stellt sie in die Crawling-Warteschlange.
4. Rendern: Jede Seite mit Statuscode 200 kommt in eine Rendering-Warteschlange, sofern kein noindex sie ausschließt. Eine aktuelle Chromium-Version ohne Bildschirm führt dort das JavaScript aus; das kann Sekunden dauern oder länger.
5. Weitergeben: Im gerenderten HTML sucht der Googlebot erneut nach Links. Den gerenderten Code verwendet Google für die Indexierung.

Zum Tempo schreibt Google, der Googlebot greife in den meisten Fällen im Durchschnitt nur einmal alle paar Sekunden auf eine Website zu; über kurze Zeiträume kann es mehr erscheinen. Wie viele URLs er insgesamt abruft und warum große Websites dabei Prioritäten setzen müssen, behandelt der Eintrag Crawl-Budget.

Den echten Googlebot erkennen

Der User-Agent ist eine Selbstauskunft. Jeder Scraper kann sich als Googlebot ausgeben, und Google warnt ausdrücklich, dass die Kennung häufig gefälscht wird. Verlässlich ist nur die Herkunft der Anfrage, die Google so prüfen lässt (Anfragen von Google-Crawlern überprüfen):

1. DNS-Abfrage rückwärts: Zur IP-Adresse aus dem Log wird der Hostname ermittelt. Bei den gewöhnlichen Crawlern folgt er dem Muster crawl-…googlebot.com oder geo-crawl-…geo.googlebot.com.
2. DNS-Abfrage vorwärts: Der gefundene Hostname muss wieder auf genau die IP-Adresse aus dem Log zeigen. Erst beide Schritte zusammen belegen die Herkunft.
3. Für große Logmengen: Google veröffentlicht die IP-Bereiche seiner Crawler als JSON-Dateien, für die gewöhnlichen Crawler wie den Googlebot in common-crawlers.json. Ein automatischer Abgleich ersetzt dann die Einzelabfrage.

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Das Beispiel stammt aus Googles Anleitung: Rückwärts- und Vorwärtsabfrage passen zusammen, die Anfrage kam also vom Googlebot. Die Gegenprobe von Googles Seite liefert der Bericht „Crawling-Statistik“ in der Search Console. Er zeigt Anfragen, Antwortcodes und Reaktionszeiten, aufgeschlüsselt nach Googlebot-Typ wie Smartphone, Computer oder Bild. Weil Google einräumt, dass der Bericht nicht jede Anfrage erfasst, ist eine Abweichung zum eigenen Log ein Hinweis, kein Beweis.

Sperren, drosseln, ausschließen

Wer den Googlebot von Inhalten fernhalten will, sollte zuerst klären, was das Ziel ist. Google unterscheidet in seiner Dokumentation drei Fälle:

• Nicht abrufen: eine Regel in der robots.txt. Die URL kann trotzdem in den Suchergebnissen erscheinen, wenn Google sie über Links kennt.
• Nicht in den Index: noindex als Meta-Tag oder HTTP-Header. Der Googlebot muss die Seite dafür abrufen dürfen, sonst sieht er die Anweisung nie.
• Für niemanden zugänglich: Passwortschutz oder eine andere Zugriffsbeschränkung.

Eine Sperre für den Googlebot wirkt breit: Sie betrifft laut Google die Suche einschließlich Discover sowie Google Bilder, Google Video und Google News. Weil die KI-Übersichten Teil der Suche sind, fehlen gesperrte Inhalte auch dort. Wer nur begrenzen will, wie viel Text Google in Ergebnissen und KI-Funktionen zeigt, nutzt nach Googles Angaben nosnippet, data-nosnippet oder max-snippet, nicht die robots.txt.

Ein Sonderfall ist Überlastung. Kommt der Server nicht hinterher, empfiehlt Google für kurze Zeit, etwa einige Stunden bis ein, zwei Tage, die Statuscodes 500, 503 oder 429 statt 200 zu senden, bei 503 und 429 auf Wunsch mit dem Header Retry-After (Crawling-Frequenz von Google verringern). Google senkt dann die Frequenz für den ganzen Hostnamen und hebt sie automatisch wieder an, sobald die Fehler zurückgehen. Den Preis nennt dieselbe Anleitung: Neue Seiten werden langsamer gefunden, Preise und Verfügbarkeiten später aktualisiert. Vorher sollten Sie typische Ursachen prüfen, etwa Filter- und Sortier-URLs oder Kalender mit unzähligen Datumsseiten.

Was der Googlebot für Backlinks bedeutet

Google schreibt, der Googlebot erkenne neue URLs hauptsächlich über Links in bereits gecrawlten Seiten. Ein Backlink ist damit nicht nur ein mögliches Ranking-Signal, sondern zuerst ein Weg, auf dem Google Ihre Seite überhaupt findet. Für neue Websites ist das ein Hauptgrund, früh einige echte Verweise zu bekommen, wie der Leitfaden Backlinks für eine neue Website beschreibt.

Umgekehrt zählt nur, was der Googlebot zu sehen bekommt. Drei Prüfpunkte vor jeder Platzierung:

1. Darf er die Seite abrufen? Eine Regel in der robots.txt des Mediums für Googlebot oder *, die den Pfad des Beitrags trifft, macht den Link für Google unsichtbar.
2. Ist der Link ein echter Link? Links, die erst per JavaScript entstehen, findet Google nach dem Rendern, sofern sie als <a href> ausgegeben werden. Elemente, die nur über ein Klick-Ereignis ohne href weiterführen, sind für den Googlebot keine Links.
3. Kommt er durch? Manche Bot-Schutzdienste blockieren Anfragen mit Googlebot-Kennung pauschal oder sperren Adressen aus den USA, von wo Google hauptsächlich crawlt. Google weicht laut Dokumentation dann womöglich auf IP-Adressen anderer Länder aus, verlassen sollten Sie sich darauf nicht.

Ob die Seite mit Ihrem Link im Index angekommen ist, zeigt am schnellsten eine Google-Suche nach der vollständigen URL mit dem Operator site:. Wie Links technisch aufgebaut sein müssen, damit Crawler ihnen folgen, beschreibt auch der Leitfaden Interne Verlinkung.

Beispiel: Die Firewall hält den falschen Bot auf

Konstruiertes Beispiel: Ein Online-Händler für Laborbedarf wird von Scrapern geplagt, die sich als Googlebot ausgeben. Die IT richtet eine Firewall-Regel ein: Anfragen mit „Googlebot“ im User-Agent kommen nur noch durch, wenn sie aus einer fest eingetragenen Liste von IP-Adressen stammen. Die Liste hat jemand aus einem älteren Forenbeitrag übernommen.

Drei Wochen später zeigt die Crawling-Statistik der Search Console einen Einbruch der Anfragen und einen hohen Anteil an Clientfehlern. Neue Produktseiten erscheinen nicht in der Suche. Ein frisch gesetzter Link aus einem Fachportal auf die Ratgeberseite des Händlers bringt vorerst nichts, weil Google die Zielseite nicht abrufen kann.

Die Korrektur: Die Firewall prüft Googlebot-Anfragen jetzt per Rückwärts- und Vorwärts-DNS-Abfrage und gleicht die Adressen täglich mit Googles veröffentlichten IP-Bereichen ab. Gefälschte Bots bleiben draußen, der echte Googlebot kommt wieder durch, und die Anfragen in der Crawling-Statistik steigen in den folgenden Tagen auf das alte Niveau.

Häufige Fragen

Alle 327 Begriffe im Glossar