Crawl Budget

Crawl Budget bezeichnet die Anzahl an URLs, die Google innerhalb eines bestimmten Zeitfensters auf einer Domain abruft. Google selbst beschreibt das Konzept als Zusammenspiel von Crawl Capacity Limit (Serverbelastbarkeit) und Crawl Demand (Googles Interesse an den Inhalten). Für Websites mit weniger als 1.000 Seiten ist das Crawl Budget selten ein Engpass. Bei Domains mit über 10.000 URLs, bei Online-Shops mit facettierter Navigation oder bei Nachrichtenportalen mit täglicher Publikation entscheidet das verfügbare Budget darüber, ob neue oder aktualisierte Inhalte die Suchergebnisse rechtzeitig erreichen.

Was ist das Crawl Capacity Limit?

Das Crawl Capacity Limit beschreibt die maximale Anzahl gleichzeitiger Verbindungen, die Googlebot für eine Domain nutzt. Google berechnet dieses Limit dynamisch auf Basis der Serverleistung.

Drei Faktoren bestimmen das Capacity Limit einer Website:

• Server-Reaktionszeit: Antwortzeiten unter 500 Millisekunden signalisieren Googlebot eine belastbare Infrastruktur. Google erhöht in diesem Fall die parallelen Verbindungen. Steigt die Antwortzeit über 2 Sekunden oder liefert der Server 5xx-Fehler, drosselt Googlebot automatisch.
• Search-Console-Einstellungen: Website-Betreiber können die maximale Crawl-Rate in der Google Search Console herabsetzen. Eine Erhöhung über das von Google berechnete Limit hinaus ist nicht möglich.
• Google-interne Obergrenzen: Googlebot begrenzt die Anfragen pro Domain, um Webserver nicht zu destabilisieren. Die genauen Schwellenwerte sind nicht öffentlich dokumentiert.

Das Capacity Limit bildet die technische Obergrenze. Ob Googlebot diese Grenze tatsächlich ausschöpft, bestimmt ein zweiter Faktor: die Crawl Demand.

Was ist Crawl Demand?

Crawl Demand beschreibt, wie stark Google das Bedürfnis hat, bestimmte URLs einer Domain abzurufen. Seiten mit hoher Nachfrage werden häufiger gecrawlt als solche, die seit Monaten unverändert im Index liegen.

Drei Signale steuern die Crawl Demand:

• Popularität: URLs mit vielen eingehenden Links, sowohl intern als auch von externen Domains, signalisieren Google eine höhere Relevanz. Starke Linkprofile erhöhen die Crawl-Frequenz einer URL direkt.
• Aktualität (Staleness): Google erkennt Update-Muster. Seiten, die sich regelmässig ändern, erhalten kürzere Crawl-Intervalle. Statische Seiten ohne Änderungen rutschen in der Priorität nach unten.
• URL-Inventar: Google versucht, alle bekannten URLs mindestens einmal abzurufen. Neu entdeckte URLs erhalten initial eine höhere Crawl-Priorität als bereits indexierte Seiten.

Capacity Limit und Crawl Demand zusammen ergeben das effektive Crawl Budget. Beide Faktoren beeinflussen auch, welche Seiten einer Website letztlich im Index erscheinen.

Welche Websites haben Crawl-Budget-Probleme?

Crawl-Budget-Engpässe betreffen nicht jede Domain. Google selbst betont: Websites mit weniger als einigen tausend URLs werden in der Regel vollständig gecrawlt, ohne dass eine gezielte Optimierung nötig ist.

Vier Website-Typen stossen regelmässig an die Grenzen ihres Crawl Budgets:

• E-Commerce-Shops mit über 10.000 Produktseiten, bei denen facettierte Navigation durch Filter- und Sortierkombinationen Hunderttausende URL-Varianten erzeugt
• Nachrichtenportale und Online-Magazine mit täglicher Publikation, bei denen neue Artikel innerhalb von Minuten statt Tagen in den Index gelangen müssen
• Verzeichnisse und Marktplätze mit nutzergeneriertem Content, dynamischen Parametern und ständig wechselnden Listings
• Domains nach einer Migration, bei denen alte URL-Strukturen, Redirect-Ketten und verwaiste Seiten gleichzeitig um Crawl-Ressourcen konkurrieren

Wie funktioniert der Crawl-Ratio-Test?

Die Crawl Ratio setzt die Gesamtzahl indexierbarer URLs ins Verhältnis zur durchschnittlichen täglichen Crawl-Rate. Beide Werte liefert die Google Search Console. Ein Ergebnis über 10 bedeutet: Google benötigt mehr als 10 Tage, um jede URL einmal abzurufen. In diesem Fall lohnt sich eine gezielte Crawl-Budget-Optimierung.

Das Crawl Budget steuert den Zugang zum Index. Doch Crawling allein reicht nicht: Zwischen Abruf und Ranking liegt eine mehrstufige Pipeline.

Wie hängen Crawling, Indexierung und Ranking zusammen?

Crawl Budget betrifft ausschliesslich die erste Stufe einer dreistufigen Pipeline: Googlebot ruft den HTML-Code einer URL ab (Crawling), verarbeitet den Inhalt und entscheidet über die Aufnahme in den Index (Indexierung), erst danach kann die Seite in Rankings erscheinen.

Ein verbreiteter Fehler betrifft den Umgang mit noindex: Seiten mit einem noindex-Meta-Tag werden trotzdem gecrawlt. Googlebot muss die Seite vollständig abrufen, um den Tag im HTML-Code zu finden. Das Crawling findet statt, die Seite gelangt aber nicht in den Index. Wer ganze URL-Bereiche dauerhaft vom Crawling ausschliessen will, erreicht das effizienter über die robots.txt.

Was ist Render Budget?

Render Budget beschreibt die zusätzlichen Ressourcen, die Google benötigt, um JavaScript-basierte Inhalte auszuführen und den vollständig gerenderten DOM zu erfassen. Websites, die auf clientseitiges Rendering setzen (React, Vue, Angular), durchlaufen zwei Verarbeitungsstufen: zuerst den HTML-Abruf, dann die JavaScript-Ausführung.

Bei JavaScript-lastigen Domains kann es Tage bis Wochen dauern, bis Google den vollständigen Seiteninhalt verarbeitet hat. Server-Side Rendering (SSR) oder Static Site Generation (SSG) umgehen diesen Engpass, weil der fertige HTML-Code bereits beim ersten Abruf vorliegt.

Die Pipeline verdeutlicht, warum Crawl-Budget-Verschwendung direkt auf Rankings wirkt. Der nächste Schritt ist die Analyse: Wo genau verliert eine Website Crawl-Ressourcen?

Wie lässt sich das Crawl Budget analysieren?

Drei Methoden liefern Einblicke in das Crawl-Verhalten von Googlebot, jeweils mit unterschiedlicher Tiefe und unterschiedlichem Aufwand.

Google Search Console: Crawl Stats

Der Crawl-Stats-Bericht in der Google Search Console dokumentiert, wie Googlebot eine Domain über die letzten 90 Tage gecrawlt hat. Fünf Metriken verdienen besondere Aufmerksamkeit:

Metrik	Bedeutung	Zielwert
Crawl-Anfragen gesamt	Abgerufene URLs pro Tag	Stabil oder steigend
Durchschnittliche Antwortzeit	Server-Reaktion in Millisekunden	Unter 500 ms
Antwortstatus	Verteilung nach HTTP-Codes (200, 301, 404, 5xx)	Über 90 % Status 200
Dateityp	Anteil HTML, CSS, JavaScript, Bilder	HTML-Anteil beobachten
Zweck	Erkennung neuer URLs vs. Aktualisierung bekannter	Aktualisierung dominiert

Ein hoher Anteil an 301-Redirects oder 404-Fehlern im Statusbericht signalisiert verschwendetes Budget. Google investiert Crawl-Zugriffe in URLs, die keinen indexierbaren Inhalt liefern.

Server-Log-Analyse: Was Googlebot tatsächlich abruft

Die Search Console zeigt aggregierte Daten. Server-Logs dokumentieren jeden einzelnen Zugriff: welche URL, welcher Bot, welcher Zeitpunkt, welcher Statuscode. Vier Muster in den Logs deuten auf Crawl-Budget-Probleme hin:

• Wiederholte Parameter-URLs: Googlebot ruft Filter- und Sortiervarianten ab, die identischen Content liefern. Ein Shop-Filter wie ?farbe=rot&groesse=xl multipliziert die crawlbaren URLs ohne inhaltlichen Mehrwert.
• Hohe Frequenz auf unwichtigen Seiten: Tag-Archive, Autorenarchive oder interne Suchergebnisse binden Crawl-Ressourcen, die für Produkt- oder Hauptseiten fehlen.
• Fehlende Zugriffe auf neue URLs: Frisch veröffentlichte Inhalte tauchen nicht in den Logs auf, weil Googlebot das Budget für bestehende URLs verbraucht.
• Bot Traps: Kalender-Widgets ohne Enddatum, endlose Paginierung oder Session-IDs in URLs erzeugen theoretisch unbegrenzt viele crawlbare Pfade.

Crawling-Tools: Probleme vor Google finden

Screaming Frog, Sitebulb und Ahrefs Site Audit simulieren das Crawling einer Domain und identifizieren technische Engpässe. Diese drei Tools zeigen Redirect-Ketten, Orphan Pages (intern nicht verlinkte Seiten), defekte Links und identische Inhalte auf mehreren URLs, bevor Google diese Probleme in den Crawl Stats sichtbar macht.

Die Analyse zeigt, wo Crawl-Ressourcen verloren gehen. Sieben typische Ursachen tauchen dabei immer wieder auf.

Welche 7 Faktoren verschwenden Crawl Budget?

1. URL-Parameter und Duplicate Content

Facettierte Navigation in Online-Shops erzeugt durch Filteroptionen Tausende URL-Varianten für identischen Inhalt. Ein Shop mit 500 Produkten und 10 Filterkombinationen kann über 5.000 crawlbare URLs generieren. Canonical Tags, die URL-Parameterbehandlung in der Search Console und konsequentes Blocking über die robots.txt reduzieren diesen Overhead.

2. Redirect-Ketten und Redirect-Schleifen

Jede serverseitige Weiterleitung in einer Kette kostet Googlebot einen zusätzlichen Crawl-Zugriff. Eine Kette aus drei Weiterleitungen (A nach B, B nach C, C nach D) verbraucht vier Zugriffe statt einem. Nach Migrationen entstehen solche Ketten häufig, weil alte Redirects nicht auf die finale Ziel-URL aktualisiert werden.

3. Soft-404-Fehler

Soft 404s sind Seiten, die den HTTP-Status 200 zurückgeben, aber inhaltlich leer sind oder eine Fehlermeldung zeigen. Google erkennt Soft 404s zunehmend automatisch, muss die betroffene Seite aber trotzdem vollständig abrufen und rendern, um den Status festzustellen. Echte 404- oder 410-Statuscodes kommunizieren den Fehler direkt im HTTP-Header und sparen diesen Aufwand.

4. Thin Content und veraltete Seiten

Seiten mit minimalem Inhalt, automatisch generierte Tag-Archive, leere Kategorie-Seiten und veraltete Landing Pages binden Crawl-Ressourcen ohne Gegenwert. Content Pruning, also das gezielte Entfernen oder Zusammenführen schwacher Seiten, gehört zu den wirksamsten Massnahmen für die Budgetoptimierung.

5. Fehlende oder schwache interne Verlinkung

Seiten, die nur über lange Klickpfade erreichbar sind, erhalten von Googlebot eine niedrigere Crawl-Priorität. Orphan Pages ohne jede interne Verlinkung werden möglicherweise nie abgerufen. Eine durchdachte Informationsarchitektur mit klaren Themensilos stellt sicher, dass Googlebot die relevantesten Inhalte zuerst findet.

6. Defekte interne und externe Links

Verweise auf nicht erreichbare Zielseiten verschwenden Crawl-Zugriffe mit 404-Antworten. Bei Domains mit Tausenden interner Links summiert sich dieser Verlust erheblich. Regelmässige Prüfungen mit Crawling-Tools verhindern, dass tote Links unbemerkt Crawl Budget binden.

7. Bot Traps und endlose URL-Räume

Kalender-Widgets ohne Enddatum, endlose Paginierung, Session-Parameter in URLs und interne Suchseiten mit crawlbaren Ergebnissen erzeugen theoretisch unbegrenzt viele Pfade. Googlebot kann in solchen Strukturen hängenbleiben und das gesamte Budget auf wertlosen Seiten aufbrauchen, während wichtige Inhalte ungecrawlt bleiben.

Die Ursachen sind identifiziert. Zehn erprobte Techniken adressieren diese Probleme gezielt.

Wie lässt sich Crawl Budget optimieren?

Zehn Massnahmen decken die häufigsten Ursachen für verschwendetes Crawl Budget ab. Die Sortierung folgt der typischen Wirksamkeit, von der direktesten Massnahme bis zu fortgeschrittenen Techniken:

1. robots.txt gezielt konfigurieren: URL-Bereiche ohne Indexierungswert (Filterseiten, Sortiervarianten, interne Suche, Admin-Pfade) per Disallow-Regel vom Crawling ausschliessen. Die robots.txt ist die direkteste Methode, um Crawl-Ressourcen zu schützen.
2. [XML-Sitemaps](/glossar/sitemap/) aktuell halten: Nur indexierbare URLs mit HTTP-Status 200 gehören in die Sitemap. Korrekte lastmod-Timestamps signalisieren Googlebot, welche Seiten sich tatsächlich verändert haben. URLs mit noindex-Tag oder robots.txt-Blocking gehören nicht in die Sitemap.
3. Redirect-Ketten direkt auflösen: Jede Weiterleitung zeigt direkt auf die finale Ziel-URL. Nach Migrationen entstehen häufig Ketten (A nach B nach C), die sich durch direkte Redirects (A nach C) ersetzen lassen.
4. Duplicate Content konsolidieren: Canonical Tags definieren die bevorzugte Version, 301-Redirects leiten Varianten zusammen, URL-Parameter werden konsistent behandelt. Googlebot crawlt so nur noch eine Version statt mehrerer identischer Seiten.
5. Server-Antwortzeit unter 500 ms halten: Schnelle Server erlauben Googlebot mehr parallele Verbindungen. In der Praxis verdoppelt eine Halbierung der Antwortzeit häufig die Crawl-Rate. Caching, CDN-Einsatz und Datenbankoptimierung sind die wirksamsten Hebel. Websites mit guten [Ladezeiten und stabilen Web Vitals](/glossar/core-web-vitals/) profitieren doppelt: bessere Nutzererfahrung und höheres Crawl-Volumen.
6. Interne Links auf Priority-Seiten konzentrieren: URLs, die ranken sollen, brauchen starke interne Verlinkung von thematisch relevanten Seiten. Diese Priorisierung erhöht sowohl die Crawl-Frequenz als auch die Ranking-Signale für die Zielseite.
7. Content Pruning umsetzen: Seiten mit dauerhaft niedrigem Traffic, dünnem Inhalt oder veralteten Informationen entfernen oder mit stärkeren Seiten zusammenführen. Weniger indexierbare URLs bedeuten mehr Crawl Budget für die Inhalte mit tatsächlichem Ranking-Potenzial.
8. JavaScript-Rendering minimieren: Kritische Inhalte als statisches HTML ausliefern. Server-Side Rendering (SSR) oder Pre-Rendering stellen sicher, dass Googlebot den Content beim ersten Abruf vollständig erfasst, ohne auf die JavaScript-Ausführung warten zu müssen.
9. Last-Modified HTTP-Header einsetzen: Der Last-Modified Header und die If-Modified-Since Anfrage teilen Googlebot mit, ob sich eine Seite seit dem letzten Abruf verändert hat. Bei unverändertem Content antwortet der Server mit Status 304 (Not Modified), ohne den vollständigen Seiteninhalt erneut zu übertragen.
10. IndexNow für schnellere Erkennung nutzen: Das IndexNow-Protokoll informiert Suchmaschinen proaktiv über neue oder aktualisierte URLs. Bing, Yandex und weitere Suchmaschinen unterstützen IndexNow bereits. Google nutzt das Protokoll bisher nicht, beobachtet die Entwicklung aber aktiv.

Die Wahl der richtigen Massnahme hängt vom konkreten Problem ab. Drei zentrale Werkzeuge, robots.txt, noindex und Canonical, haben dabei unterschiedliche Einsatzbereiche.

Wie unterscheiden sich robots.txt, noindex und Canonical?

Alle drei Werkzeuge steuern, welche Seiten Google crawlt oder indexiert. Jedes adressiert ein anderes Szenario.

Methode	Crawling	Indexierung	Bestes Szenario
robots.txt Disallow	Blockiert	Kann trotzdem indexiert werden (ohne Content)	Grosse URL-Bereiche dauerhaft vom Crawling ausschliessen
Meta noindex	Wird gecrawlt	Aus dem Index entfernt	Einzelne Seiten de-indexieren, die intern verlinkt bleiben müssen
Canonical Tag	Wird gecrawlt	Bevorzugte Version wird indexiert	Duplicate Content mit einer Hauptversion konsolidieren

Ein robots.txt Disallow verhindert zwar das Crawling, aber nicht zwingend die Indexierung. Wenn externe Links auf eine blockierte URL verweisen, kann Google die URL trotzdem im Index aufnehmen, allerdings ohne den eigentlichen Seiteninhalt. Canonical Tags und noindex-Tags setzen dagegen Crawling voraus, weil Googlebot die Seite abrufen muss, um die Anweisungen im HTML zu lesen.

Die bisherigen Techniken gelten für den laufenden Betrieb. Bei Site-Migrationen verschärfen sich die Herausforderungen deutlich.

Wie schützt man das Crawl Budget bei einer Migration?

Migrationen (Domainwechsel, CMS-Umzug, URL-Restrukturierung) sind der häufigste Auslöser für akute Crawl-Budget-Probleme. Google muss in kurzer Zeit sowohl die alten als auch die neuen URLs abrufen, Redirects verarbeiten und den Index aktualisieren.

Fünf Massnahmen schützen das Crawl Budget während und nach einer Migration:

• 1:1 Redirect-Mapping erstellen: Jede alte URL verweist per 301-Redirect auf die inhaltlich passende neue URL. Das Mapping entsteht vor dem Launch, nicht nachträglich.
• Alte Sitemaps 3 bis 6 Monate online lassen: Die bisherigen Sitemaps bleiben nach dem Launch erreichbar, damit Googlebot die Redirects systematisch abarbeiten kann.
• Neue Sitemaps zeitgleich einreichen: Alle finalen URLs der neuen Domain-Struktur werden am Launchtag als Sitemap in der Search Console eingereicht.
• Crawl Stats täglich überwachen: Ein plötzlicher Anstieg von 404-Fehlern oder ein Einbruch der Crawl-Rate signalisiert, dass Redirects fehlen oder fehlerhaft konfiguriert sind.
• Redirect-Ketten direkt vermeiden: Alte Redirects (aus früheren Migrationen) werden auf die neue Ziel-URL aktualisiert, statt eine weitere Weiterleitung anzuhängen.

Neben Googlebot beanspruchen inzwischen weitere Crawler die Serverressourcen einer Domain. KI-Bots verändern die Crawl-Budget-Gleichung.

Wie beeinflussen KI-Crawler das Crawl Budget?

Neben Googlebot rufen weitere Bots Webinhalte ab: GPTBot (OpenAI), ClaudeBot (Anthropic), Bytespider (ByteDance) und andere. Diese KI-Crawler sammeln Inhalte nicht für klassische Suchergebnisse, sondern für Trainingsdaten und Retrieval-Systeme. Laut einer Analyse von Rhino Rank stieg der Bot-Traffic von Googlebot zwischen Mai 2023 und Mai 2024 um 96 %. KI-Crawler kommen noch dazu.

KI-Bots belasten dieselbe Serverinfrastruktur wie Googlebot. Wenn der Server durch aggressive KI-Crawler ausgelastet ist, drosselt Google automatisch die eigene Crawl-Rate, um den Server nicht zu destabilisieren.

Drei Strategien helfen beim Umgang mit KI-Crawlern:

• robots.txt-Regeln für KI-Bots: Einträge wie User-agent: GPTBot oder User-agent: ClaudeBot erlauben gezielte Steuerung. Komplettes Blocking schliesst die Domain allerdings auch aus KI-gestützten Antworten wie AI Overviews aus.
• Rate Limiting auf Serverebene: Webserver wie Nginx oder Apache können Anfragen pro Bot und Zeiteinheit begrenzen, ohne den Bot vollständig zu blockieren. So bleibt die Domain in KI-Systemen sichtbar, ohne dass die Server-Performance leidet.
• Server-Kapazität anhand von Log-Daten skalieren: Log-Analysen zeigen den Anteil an Bot-Traffic am Gesamtvolumen. Steigt der Bot-Anteil über 60 %, lohnt sich entweder eine Kapazitätserweiterung oder eine gezieltere robots.txt-Konfiguration.

Häufig gestellte Fragen zu Crawl Budget

Was passiert, wenn das Crawl Budget einer Domain erschöpft ist?

Google stellt das Crawling nicht ein, reduziert aber die Frequenz erheblich. Neue oder aktualisierte Seiten benötigen deutlich länger, bis sie im Index erscheinen. Bei stark limitiertem Budget dauert es Wochen, bis Änderungen in den Suchergebnissen sichtbar werden.

Lässt sich das Crawl Budget bei Google erhöhen?

Nicht direkt. Google berechnet das Budget automatisch auf Basis von Server-Geschwindigkeit, Inhaltsqualität und Nachfrage. Indirekt steigt das Budget durch schnellere Serverantworten, hochwertigere Inhalte und stärkere Verlinkung von externen Domains.

Wie stark beeinflusst die Seitengeschwindigkeit das Crawl Budget?

Eine Halbierung der Server-Antwortzeit kann die Crawl-Rate verdoppeln. Schnellere Server erlauben Googlebot mehr gleichzeitige Verbindungen. Umgekehrt drosselt Google bei Antwortzeiten über 2 Sekunden oder bei gehäuften 5xx-Fehlern automatisch.

Verbraucht eine noindex-Seite Crawl Budget?

Ja. Googlebot muss die Seite vollständig abrufen, um den noindex-Tag im HTML-Code zu finden. Das Crawling findet statt, die Seite gelangt aber nicht in den Index. Für grosse URL-Bereiche, die nicht gecrawlt werden sollen, ist ein robots.txt Disallow ressourcenschonender.

Wie oft crawlt Googlebot eine durchschnittliche Website?

Die Frequenz variiert stark: Populäre Nachrichtenseiten werden mehrmals pro Minute abgerufen, kleine Unternehmenswebsites vielleicht einige Male pro Woche. Die Crawl Stats in der Google Search Console zeigen die exakte Crawl-Frequenz für jede verifizierte Domain.

Kann ein zu hohes Crawl-Volumen dem Server schaden?

Ja, wenn die Server-Infrastruktur nicht auf das Crawl-Volumen ausgelegt ist. Google passt die Crawl-Rate automatisch an die Serverkapazität an. Bei akuten Problemen lässt sich die maximale Crawl-Rate in der Search Console temporär begrenzen.

Gilt Crawl Budget nur für Google?

Jede Suchmaschine verwaltet eigene Crawl-Budgets und Prioritäten. Bing, Yandex und Baidu crawlen nach eigenen Regeln. Die Optimierungsmassnahmen (schnelle Server, saubere URL-Struktur, gültige Sitemaps) wirken suchmaschinenübergreifend. Bing unterstützt das IndexNow-Protokoll, das Seitenänderungen proaktiv an die Suchmaschine meldet.

Worin unterscheiden sich Crawl Budget und Render Budget?

Crawl Budget betrifft den HTTP-Abruf des HTML-Codes. Render Budget beschreibt die Rechenressourcen, die Google benötigt, um JavaScript auszuführen und den vollständig gerenderten Seiteninhalt zu erfassen. Bei JavaScript-Frameworks wie React, Vue oder Angular wird das Render Budget häufig zum grösseren Engpass als das eigentliche Crawl Budget.