Das Crawl-Budget bezeichnet die Menge an Ressourcen, die eine Suchmaschine für das Crawlen einer Website aufwendet — vereinfacht: wie viele URLs der Crawler in einem bestimmten Zeitraum abruft. Es ergibt sich aus der technischen Kapazität des Servers und dem Interesse der Suchmaschine an den Inhalten. Für kleine Websites ist das Crawl-Budget selten ein Problem; relevant wird es bei großen Seiten mit vielen tausend URLs.
Wie setzt sich das Crawl-Budget zusammen?
Google beschreibt zwei Komponenten: das Crawl-Kapazitätslimit und den Crawl-Bedarf. Das Kapazitätslimit richtet sich danach, wie viele Anfragen der Server verkraftet, ohne langsamer zu werden — reagiert die Website träge oder mit Fehlern, drosselt der Crawler. Der Crawl-Bedarf spiegelt, wie interessant die Inhalte für die Suchmaschine sind: populäre, häufig aktualisierte und gut verlinkte Seiten werden öfter besucht.
Verbraucht wird das Budget von jeder abgerufenen URL — auch von unwichtigen: Parameter-Varianten, Filterseiten, Duplikate, Weiterleitungsketten und Fehlerseiten zehren am selben Kontingent wie die eigentlichen Inhaltsseiten.
Warum ist das Crawl-Budget wichtig?
Wenn der Crawler sein Kontingent mit irrelevanten URLs verbraucht, werden wichtige Seiten seltener oder verspätet gecrawlt — neue Inhalte erscheinen später im Index, Aktualisierungen kommen verzögert an. Bei umfangreichen Websites wie Shops, Portalen oder Verzeichnissen kann das messbar Sichtbarkeit kosten.
Für die meisten Kanzlei- und Unternehmenswebsites mit einigen Dutzend bis wenigen hundert Seiten ist das Crawl-Budget dagegen praktisch nie der Engpass — Google crawlt solche Seiten in der Regel vollständig. Wird eine Seite dort nicht indexiert, liegt die Ursache meist an Qualität, interner Verlinkung oder technischen Fehlern, nicht am Budget.
Crawl-Budget in der Praxis optimieren
Die wichtigsten Hebel: unnötige URL-Varianten vermeiden oder per Canonical bündeln, Filter- und Suchergebnisseiten vom Crawling ausschließen, Weiterleitungsketten auflösen, fehlerhafte Links bereinigen und die Ladezeit des Servers verbessern. Eine gepflegte XML-Sitemap lenkt den Crawler auf die relevanten Inhalte, eine saubere interne Verlinkung signalisiert deren Priorität.
Kontrolle bietet die Google Search Console: Die Crawling-Statistiken zeigen, wie viele Anfragen der Googlebot stellt und welche Antwortcodes er erhält. Wer tiefer einsteigen will, wertet Server-Logfiles aus — dort ist sichtbar, welche URLs der Crawler tatsächlich wie oft besucht und wo er Ressourcen verschwendet.