Geschrieben am: 26. August 2022 | Zuletzt aktualisiert: 28. Januar 2023 | Lesezeit: ca. 7 Min.
Was ist Crawl Budget?
Unter Crawl Budget versteht man die Kapazität, die Suchmaschinen einer Website zur Verfügung stellen, um diese zu crawlen.
Google vergibt diese Kapazitäten automatisch für jede Domain. Dieser Automatismus funktioniert jedoch nicht immer zu 100 % korrekt, sodass für manche Webseiten nicht ausreichend Crawl Budget zur Verfügung gestellt wird.
Wie du erkennst, ob deine Seite ein Problem mit damit hat und was du dagegen tun kannst, erfährst du in diesem Beitrag.
Das Wichtigste in Kürze
- Um das Crawl Budget muss du dir erst Gedanken machen, wenn deine Website mehr als 10.000 Urls hat
- Beim Crawl Budget geht es aber nicht primär um die Anzhal an URLs, sondern um die Zeit die Google auf einer Website aufwenden muss, um sie zu Crawlen
- SEOs können das Crawl Budget nicht direkt, sondern nur indirekt beeinflussen
So vergibt Google Crawl Budget an Websites
Wie bereits erwähnt, vergibt Google das Crawl Budget automatisch an Websites. Google stellt auch keine Informationen zur Verfügung, über wie viel Crawl Budget eine Website verfügt.
Was jedoch bekannt ist: Das Budget wird in Queries per Second vergeben (Quelle). Also der Anzahl an Anfragen, die der Googlebot in einer Sekunde an eine Website stellen kann. Eine schnelle Website ist also auch hier von Vorteil.
Google versucht bei der Vergabe des Budgets die richtige Balance zwischen schnellem Crawling und dem Schutz der Website vor Überlastung zu finden. Denn: crawlt Google zu viel und zu schnell kann es passieren, dass die gecrawlte Website “abgeschossen” wird und dadurch nicht mehr erreichbar ist.
In der Regel reduziert Google das Crawling aber bereits vorher. Wenn festgestellt wird, dass sich die Ladezeiten der gecrawlten Website verlangsamen, fährt Google das Crawling herunter.
Was passiert, wenn eine Website durch Crawling überlastet ist?
Wird eine Website mit dem Crawling überlastet, sendet der Server einen http Status Code 503 (Service Unavailable) oder 429 (Too Many Requests) und Google stoppt das Crawling, bis die Seite wieder erreichbar ist. In der Zwischenzeit können aber auch keine menschlichen User auf die Website, was schnell zu hohen Umsatzverlusten führen kann. Deshalb crawlt Google tendenziell eher zu wenig als zu viel.
Die Rolle von Verlinkungen und Aktualisierungen
Neben der Ladezeit und Serverkapazität spielt es auch eine Rolle, wie häufig eine Website aktualisiert wird. Publisher Webseiten, die mehrere neue Artikel pro Tag veröffentlichen, können davon ausgehen, dass ihnen mehr Ressourcen seitens Google zur Verfügung gestellt werden.
Ebenfalls ein Faktor ist die Verlinkung der Inhalte. Google möchte ausschließlich Inhalte crawlen und indexieren, die bei den Nutzern nachgefragt werden. Ein Kriterium, das dabei eine wichtige Rolle spielt, ist die Verlinkung der Inhalte. Je häufiger ein Inhalt verlinkt ist, desto höher ist die Wahrscheinlichkeit, dass Google ihn zeitnah crawlt.
Wie du erkennst, ob deine Seite ein Problem mit der Crawling-Kapazität hat
Häufig steht das Crawl Budget in Verdacht, wenn es dazu kommt, dass neue Inhalte nicht sofort indexiert werden. Zusätzlich sorgt für Verwirrung, dass Google weder die Crawling-Kapazität für eine Website angibt, noch mangelndes Crawl Budget als Ursache für nicht indexierte Inhalte nennt.
In einem kostenlosen Erstgespräch besprechen wir deine Situation und wie wir die SEO-Potenziale deiner Website nutzen können.
Jetzt unverbindlich Kontakt aufnehmen
Für kleine Webseiten kann meist Entwarnung gegeben werden: Ein zu geringes Crawl Budget ist in den meisten Fällen ein Problem größerer Webseiten, mit mehr als 10.000 URLs. Aber auch Seiten, die viele URLs im Search Console Report “Gefunden – zurzeit nicht indexiert” haben, können ein Problem mit dem Crawl Budget haben.
Viele Seiten im Report “Gefunden – zurzeit nicht indexiert” in der GSC
Wenn einer der folgenden Punkte auf deine Website zutrifft, könntest du ein Problem mit dem Crawl Budet haben:
- Website größer als 10.000 URLs
- Seite wird häufig aktualisiert, die Seiten jedeoch nicht gecrawlt
- Die Website ist langsam
Um den letzten Punkt auszuschließen, gibt es in der Search Console unter Einstellungen > Crawling-Statistiken Diagramme, die anzeigen, wie sich die Menge an gecrawlten Daten im Verhältnis zur Reaktionszeit der Website entwickelt hat.
Got this screenshot from my colleague in Slack.
Greatest example of the TTFB & crawl budget correlation ever.cc: @badams, thought you might like this. pic.twitter.com/9KhRfklx5s
— Jan Caerels (@CaerelsJan) September 16, 2022
Wenn hier Sichtbar wird, dass mit der Anzahl an abgerufenen Inhalten auch die Reaktionszeit des Servers steigt, kann das zur Folge haben, dass Google das Crawling aufgrund der Überlastung des Servers reduziert. Wenn sich der Server erholt hat, steigert Google in der Regel die Frequenz wieder.
Außerdem wird in der Search Console sichtbar, welche Anteile der Crawling Ressourcen auf welchen Dateityp fallen (HTML, JavaScrip, PDF etc.). Zum Umgang mit JavaScript und CSS-Dateien im Zusammenhang mit Crawl Kapazitäten gibt es weiter unten ein paar Tipps.
Welche Ressourcen fallen in das Crawl Budget?
Jede URL, auf die innerhalb der Website verlinkt wird, wird von Google gecrawlt und wirkt sich dadurch auf die Crawling Ressourcen aus. Dazu gehören auch PDF-Dateien, JavaScripte, CSS-Files und Post-Requests an APIs.
Wie sich das Crawling auf diese Ressourcen verteilt, steht ebenfalls in den Crawl-Statistiken in der Search Console.
Lösungsmöglichkeiten für ein optimiertes Crawling
Wenn sich der Verdacht erhärtet, dass deine Webseite nicht ausreichend Crawl-Kapazitäten von Google bekommt, gibt es einige Methoden Abhilfe zu schaffen.
- Sorge für eine schnelle Website und ausreichend Server-Kapazität. Dies gilt vor allem, wenn du in der Search Console siehst, dass Googlebot lange braucht, um Ressourcen von deiner Website zu laden.
- Vermeide unnötige Weiterleitungen. Jede Weiterleitung auf deiner Website ist eine zusätzliche URL, die gecrawlt werden muss. Die internen Links auf der Website sollten also nicht auf URLs zeigen, die eine Weiterleitung auslösen.
- Achte auf Qualität und Verlinkungen. Qualität ist zwar kein offizielles Kriterium für die Vergabe von Crawling Kapazitäten, aber wenn es darum geht URLs zu indexieren, spielt es eine große Rolle, ob diese von Google als hilfreich eingestuft werden. Auch solltest du sicherstellen, dass neue Inhalte stets gut verlinkt sind, z.B. von der Startseite.
- Verwende korrekte Status Codes. Gelöschte Seiten sollten einen http Status Code 410 bekommen, das sorgt im Gegensatz zu 404 dafür, dass die Seite nicht mehr (so häufig) gecrawlt wird. Dasselbe gilt für Weiterleitungen, wo ein 301 von Google schneller verarbeitet wird als ein 301. Auch wenn die Search Console im Report Indexabdeckung viele Soft 404-Fehler meldet, besteht Handlungsbedarf: diese werden von Google nicht wie 404er behandelt und belasten deshalb das Crawl Budget.
- Konsolidiere doppelte oder ähnliche Inhalte. Auch Duplicate Content kann dazu führen, dass Seiten nicht so häufig gecrawlt werden wie gewünscht. Das Löschen oder zusammenführen von doppelten Inhalten kann sich also auch positiv auf das Crawling auswirken.
- JS- und CSS-Dateien zusammenführen. Viele Webseiten verwenden mehr als eine JavaScript- und/oder CSS-Datei, um die Seite darzustellen. Es kann für das Crawling sinnvoll sein, diese Dateien zu je einer JS- und einer CSS-Datei zusammenzuführen.
- Nutze die Robots.txt. Mit der Robots.txt kannst du Google sagen, welche Bereiche deiner Website nicht gecrawlt werden sollen. Besonders wenn deine Website viele automatisch erzeugte URLs hat, ist die Robots.txt ein geeignetes Mittel das Crawling zu steuern.
Status Code 503 bei der Robots.txt
Antwortet die Robots.txt-Datei mit einem http Status Code 503 (Service Unavailable), stoppt Google das Crawling für die komplette Website.
Der Googlebot wird aber zu einem späten Zeitpunkt das Crawling erneut versuchen. Dies kannst du nutzen, um in Ausnahmefällen, das Crawling komplett zu verhindern. Aber in den meisten Fällen solltest du darauf achten, das dies nicht passiert.
Fazit
Um das Thema Crawl Budget müssen sich vermutlich 90 % der SEOs keine großen Sorgen machen. Gleichwohl ist es immer sinnvoll darauf zu achten, dass Google und andere Suchmaschinen die Seite schnell und effizient crawlen können. Wenn das von Anfang an in der Entwicklung der Website (technisch und inhaltlich) mitgedacht wird, sollte es dauerhaft mit den Crawling Ressourcen zu keinen Problemen kommen.