Crawl Budget
Auch: Crawling-Budget, Crawl-Kontingent
Das Crawl Budget ist die Menge an URLs einer Website, die Googlebot abrufen kann und will. Es ergibt sich aus dem Kapazitätslimit des Servers und dem Crawling-Bedarf und wird vor allem bei sehr großen oder schnell wachsenden Websites zum Engpass.
Google kann nicht jede URL im Web ständig abrufen. Für jede Website legt das System deshalb fest, wie viel es crawlt. Diese Zuteilung heißt Crawl Budget, in der deutschen Google-Dokumentation „Crawling-Budget“.
Der Begriff wird oft größer gemacht, als er ist. Google sagt selbst, dass sich die meisten Websitebetreiber nicht darum kümmern müssen. Dieser Eintrag erklärt, woraus sich das Budget zusammensetzt, wann es tatsächlich knapp wird und welche Hebel laut Google wirken.
Zwei Größen: was der Server verkraftet, was Google will
Google beschreibt das Crawling-Budget als Ergebnis zweier Größen (Google: Crawling-Budget optimieren). Als „Website“ gilt dabei ein Hostname: www.example.com und code.example.com haben getrennte Budgets.
- Crawling-Kapazitätslimit: Wie viele parallele Verbindungen und wie viel Verbindungszeit Google dem Server zumutet, ohne ihn zu überlasten. Jede Website startet mit einem vorsichtigen Standardwert. Antwortet der Server schnell und stabil, steigt das Limit. Wird er langsamer oder liefert Serverfehler (5xx) oder den Statuscode 429, sinkt es.
- Crawling-Bedarf: Wie viel Google crawlen möchte. Bestimmt wird er vom wahrgenommenen URL-Bestand, von der Beliebtheit der URLs im Web und vom Ziel, Änderungen zeitnah zu erkennen. Ein Umzug der Website erhöht den Bedarf vorübergehend, weil Google die Inhalte unter den neuen Adressen neu verarbeiten muss.
Beide Größen wirken zusammen. Selbst wenn der Server mehr verkraften würde, crawlt Google weniger, wenn der Bedarf gering ist. Und umgekehrt hilft hoher Bedarf nichts, wenn der Server bremst. Das Kapazitätslimit gilt zudem für alle Google-Crawler gemeinsam: Fordert etwa AdsBot viele Seiten an, bleibt weniger Kapazität für andere.
Wichtig für die Einordnung: Gecrawlt heißt nicht aufgenommen. Jede abgerufene Seite wird anschließend bewertet, und erst die Indexierung entscheidet, ob sie in den Index kommt. Wie der Abruf technisch abläuft und welche Varianten es gibt, erklärt der Eintrag zum Googlebot.
Für wen das Thema relevant ist
Google nennt in seinem Leitfaden drei Gruppen, für die die Empfehlungen in erster Linie gedacht sind. Die Zahlen sind laut Google ungefähre Werte zur Einordnung, keine festen Grenzen:
- große Websites mit mehr als 1 Million einzelner Seiten, deren Inhalt sich etwa wöchentlich ändert,
- mittelgroße Websites mit mehr als 10.000 Seiten, deren Inhalte sich täglich ändern,
- Websites, bei denen ein Großteil der URLs in der Search Console als „Gefunden – zurzeit nicht indexiert“ geführt wird.
Für alle anderen gilt die Gegenrichtung. Werden neue Seiten noch am Tag der Veröffentlichung gecrawlt, braucht es laut Google keinen eigenen Aufwand; aktuelle Sitemaps und ein regelmäßiger Blick in den Bericht zur Seitenindexierung genügen. In einem älteren Blogbeitrag schrieb Google, dass Websites mit weniger als einigen Tausend URLs meist effizient gecrawlt werden (Search Central Blog, 16. Januar 2017).
Kein Ranking-Faktor. Im selben Beitrag stellt Google klar: Häufigeres Crawling führt nicht zwangsläufig zu besseren Positionen. Crawling ist Voraussetzung, um in den Ergebnissen zu erscheinen, aber kein Ranking-Signal. Wer das Crawl Budget optimiert, beschleunigt das Finden und Aktualisieren, nicht das Ranking selbst.
Was Crawl Budget verbraucht
Grundsätzlich zählt jede URL, die Googlebot abruft. Dazu gehören laut Google auch alternative Fassungen wie hreflang-Varianten sowie eingebundene Ressourcen wie CSS- und JavaScript-Dateien. Knapp wird das Budget, wenn viele dieser Abrufe auf URLs ohne eigenen Wert entfallen. Die typischen Verursacher:
| URL-Typ | Warum er Budget kostet | Übliches Gegenmittel |
|---|---|---|
| Facettensuche, Sortierungen, Session-IDs | unzählige Kombinationen mit gleichem Inhalt | zusammenfassen oder per robots.txt sperren |
| Duplikate auf der eigenen Website | dieselben Inhalte unter vielen Adressen | duplizierte Inhalte konsolidieren |
| Soft-404-Seiten | werden weiter gecrawlt, obwohl leer | echten Fehlercode liefern |
| entfernte Seiten mit Statuscode 200 | Google ruft sie immer wieder ab | 404 oder 410 zurückgeben |
| lange Weiterleitungsketten | jede Station ist ein eigener Abruf | direkt auf das Ziel weiterleiten |
| unendliche Räume wie Kalender | jede Seite erzeugt neue URLs | Links begrenzen, Bereich sperren |
Der Hebel mit der größten Wirkung ist laut Google der wahrgenommene URL-Bestand: Ohne andere Hinweise versucht Google, alle bekannten URLs einer Website zu crawlen. Sind viele davon Duplikate oder unwichtig, verbraucht Google Zeit, die für neue oder geänderte Seiten fehlt.
Was hilft und was nicht
Googles Leitfaden ist hier ungewöhnlich konkret. Die Empfehlungen in Kurzform:
- Hilft: unwichtige URL-Varianten per robots.txt sperren, dauerhaft entfernte Seiten mit 404 oder 410 beantworten, Soft-404-Fehler beheben, Sitemaps aktuell halten und
<lastmod>pflegen, Weiterleitungsketten kürzen, Seiten schnell ausliefern und den Statuscode 304 für unveränderte Seiten unterstützen. - Hilft nicht:
noindexals Sparmaßnahme. Google ruft die Seite trotzdem ab und verwirft sie erst danach, die Crawling-Zeit ist also verbraucht. - Hilft nicht: robots.txt als vorübergehende Umschichtung. Frei werdendes Budget verteilt Google nur dann auf andere Seiten, wenn das Kapazitätslimit ohnehin erreicht ist.
Mehr Budget gibt es laut Google auf zwei Wegen: mehr Serverressourcen, wenn der Server der Engpass ist (das URL-Prüftool meldet dann „Hostlast überschritten“), und bessere Inhalte. Für die Google Suche zählen dabei Beliebtheit, Wert für Nutzer, Einzigartigkeit und Bereitstellungskapazität. Eine höhere Crawling-Frequenz lässt sich nicht beantragen, eine Senkung schon: Für kurze Notfälle empfiehlt Google die Statuscodes 500, 503 oder 429, aber nicht länger als ein bis zwei Tage (Google: Crawling-Frequenz verringern).
Wie viele Stationen eine Weiterleitung hat, prüfen Sie für einzelne URLs mit dem Redirect-Checker. Wie Sie wichtige Seiten über interne Links besser erreichbar machen, beschreibt der Beitrag Interne Verlinkung.
Crawl Budget messen: Bericht und Logdateien
In der Google Search Console zeigt der Bericht „Crawling-Statistik“ unter den Einstellungen, wie Google die Website abruft: Anfragen insgesamt, Downloadgröße, durchschnittliche Reaktionszeit, Hoststatus sowie Aufschlüsselungen nach Antwortcode, Dateityp, Zweck und Googlebot-Typ. Beim Zweck unterscheidet Google zwischen „Erkennung“ für neue URLs und „Aktualisierung“ für bekannte.
- Der Bericht ist nur für Properties auf Stammebene verfügbar, etwa
beispiel.deoderhttps://beispiel.de. - Bei Weiterleitungen zählt jede Station der Kette als eigene Anfrage. Lange Ketten fallen dort also direkt auf.
- Für Websites mit weniger als 1.000 Seiten hält Google den Bericht laut Hilfe meist für entbehrlich.
Genauer sind die Logdateien des Servers. Sie zeigen jeden Abruf mit URL, Zeitpunkt und Statuscode. Wer dort sieht, dass ein Großteil der Googlebot-Anfragen auf Parameter-URLs fällt, während neue Produktseiten tagelang unbesucht bleiben, hat einen echten Budget-Befund. Vorsicht bei angeblichen Googlebot-Einträgen: Der User-Agent lässt sich fälschen, Google beschreibt, wie Sie echte Anfragen über einen umgekehrten DNS-Abgleich oder die veröffentlichten IP-Bereiche bestätigen.
Crawl Budget, Backlinks und KI-Crawler
Ein Bestandteil des Crawling-Bedarfs ist die Beliebtheit: URLs, die im Internet beliebter sind, crawlt Google laut eigener Dokumentation häufiger, um sie aktuell zu halten. Links von anderen Websites gehören zu den naheliegenden Hinweisen darauf, auch wenn Google keine Formel nennt. Für eine junge Website mit wenigen Verweisen heißt das: Sie wird seltener besucht, neue Seiten brauchen länger bis in den Index.
Für bezahlte oder erarbeitete Platzierungen gilt dieselbe Logik auf der Seite des Publishers. Steht Ihr Link auf einer tief verschachtelten Archivseite eines großen Portals, kann es dauern, bis Google diese Seite abruft und den Link überhaupt kennt. Das ist kein Mangel des Links, sondern Crawling-Priorität.
KI-Crawler anderer Anbieter wie GPTBot laufen nicht über Googles Budget, belasten aber denselben Server. Bei knapper Serverleistung kann viel Fremd-Crawling die Antwortzeiten verschlechtern und damit indirekt Googles Kapazitätslimit senken. Wie Sie solche Bots gezielt zulassen oder sperren, steht im Beitrag GPTBot und robots.txt.
Beispiel: ein Shop mit Filter-URLs
Ein Onlinehändler für Arbeitskleidung führt 6.000 Produkte. Jede Kategorie lässt sich nach Größe, Farbe, Marke und Preis filtern und sortieren, jede Kombination erzeugt eine eigene URL. Neue Produkte erscheinen erst nach zwei bis drei Wochen in der Suche.
Die Logdateien eines Monats zeigen: Rund drei Viertel der Googlebot-Abrufe entfallen auf Filter- und Sortier-URLs, die Crawling-Statistik meldet zudem viele Anfragen mit Statuscode 301, weil alte Kategorien über zwei Stationen weiterleiten.
Das Team sperrt Sortier- und Mehrfachfilter-URLs per robots.txt, lässt nur einzelne Filter mit eigener Suchnachfrage crawlbar, stellt die Weiterleitungen auf direkte Ziele um und nimmt nur kanonische Produkt-URLs in die Sitemap auf. Einige Wochen später verschiebt sich der Anteil der Abrufe sichtbar zu Produkt- und Kategorieseiten, neue Produkte werden innerhalb weniger Tage gecrawlt. Das Beispiel ist konstruiert.
Häufige Fragen
Ab wie vielen Seiten spielt das Crawl Budget eine Rolle?
Google nennt als ungefähre Orientierung Websites mit mehr als 1 Million Seiten und wöchentlichen Änderungen oder mit mehr als 10.000 Seiten und täglichen Änderungen. Dazu kommen Websites, bei denen viele URLs als „Gefunden – zurzeit nicht indexiert“ stehen. Werden neue Seiten am Tag der Veröffentlichung gecrawlt, müssen Sie sich laut Google nicht darum kümmern.
Ist das Crawl Budget ein Ranking-Faktor?
Nein. Google schreibt, dass eine höhere Crawling-Frequenz nicht zwangsläufig zu besseren Positionen führt. Crawling ist die Voraussetzung, um überhaupt in den Ergebnissen zu erscheinen, aber kein Signal für die Reihenfolge.
Kann ich bei Google mehr Crawl Budget beantragen?
Nein, eine Erhöhung lässt sich nicht beantragen. Google erhöht das Budget, wenn der Server schnell und stabil antwortet und die Inhalte beliebt, nützlich und einzigartig sind. Beantragen können Sie nur eine Senkung, etwa wenn das Crawling Ihren Server überlastet.
Spart noindex Crawl Budget?
Nein. Google ruft eine Seite mit noindex trotzdem ab und erkennt den Hinweis erst in der Antwort. Für URLs, die Google gar nicht abrufen soll, empfiehlt Google stattdessen eine Sperre per robots.txt oder das Zusammenfassen doppelter Inhalte.