Google und das Crawl-Budget

Wie viele Seiten crawlt Google auf Deinen Seiten und woher kommt dieses „Crawling Budget“? Auch darüber gibt es viele unterschiedliche Meinungen. Google liefert dazu aktuelle Infos und möchte nun etwas Klarheit in das Ganze bringen.Google Crawl-Budget

Dazu wurde gestern unter anderem durch Garry Illyes einen entsprechenden Blogpost veröffentlicht. Die deutsche Version des Artikels findet ihr hier.

Wie immer sollte man die Aussagen auf dem Google Webmaster-Zentrale Blog mit Vorsicht genießen. Dennoch steht da einiges drin.

 

Zunächst einmal definiert Google das Crawling-Budget und gliedert dies dabei in 2 wesentliche Bestandteile.

Crawling-Frequenz und Crawling-Bedarf zusammen ergeben das Crawling-Budget. Nach unserer Definition ist damit also die Anzahl der URLs gemeint, die der Googlebot crawlen kann und will.

Verstanden? OK, schauen wir uns einmal an, was Google unter den beiden Bestandteilen im Einzelnen versteht.

Crawling-Frequenz

„Mit der sogenannten „Crawling-Frequenz“ wird die maximale Abrufrate für eine bestimmte Website begrenzt.“

Bedeutet im Klartext, dass hier von den gleichzeitig parallelen Verbindungen gesprochen wird, welche der Googlebot nutzen kann um Eure Website zu crawlen.

Zudem gibt Google mögliche Gründe dafür an, warum sich die Crawling-Frequenz zum Positiven oder Negativen verändern kann. Je schneller Eure Seite beim Zugriff über den Bot reagiert, desto mehr Verbindungen können genutzt werden. Je langsamer Eure Seite auf die Zugriffe reagiert, desto weniger Verbindungen sind möglich und desto weniger wird sich der Googlebot von Euren Inhalten ansehen. Für mich ist das eine Bestätigung, dass das Thema PageSpeed Optimierung in den Köpfen angekommen sein sollte. Somit ist für mich die Ladegeschwindigkeit ein wesentlicher Bestandteil einer funktionierenden Webpräsenz und, dass ist unausweichlich, ein essentieller Rankingfaktor.

Durch die Beschränkung innerhalb der Google Search Console kann man ebenfalls die Crawling-Frequenz beeinflussen. Laut Google wird lediglich das Reduzieren der Frequenz berücksichtigt, jedoch nicht das Anheben der Frequenz.

Crawlgeschwindigkeit begrenzen

Hier seht Ihr, dass es innerhalb der Google Search Console möglich ist die Crawl-Frequenz entsprechend anzupassen.

 

Crawling-Bedarf

Kommen wir nun zum zweiten Bestandteil, welcher das Crawling-Budget definiert. Es geht dabei um den sog. „Crawling-Bedarf“.

Wenn für das Indexieren kein Bedarf besteht, geht nur geringe Aktivität vom Googlebot aus, auch wenn das Limit der Crawling-Frequenz noch nicht erreicht ist.

Anhand der Beliebtheit Eurer URLs legt Google also fest, ob Bedarf besteht Eure Website zu crawlen oder eben nicht. Dies lässt darauf schließen, dass Google immer noch, hingegen vieler Meinungen, wesentlich auf Backlinks als Rankingsignal zählt. Zudem gehe ich davon aus, dass auch Social Signals eine wichtigere Rolle spielen als bis dato angenommen. Denn was viral ist, ist aktuell, ist beliebt und soll in den SERPS landen. Sicherlich wird die Beliebtheit einer URL auch über die CTR definiert. Aber ich finde das Thema mit den Social Signals einfach spannender 😉

Veraltete URLs sollen demnach aus dem Index verschwinden. Was sagt uns das? Naja zum Einen, dass man stetig an seinen Inhalten arbeiten und nichts versumpfen lassen sollte und zum Anderen, dass man viralen Content produzieren sollte. Mal wieder wird also deutlich, dass alles mit dem Thema Content bzw. Content-Marketing steht und fällt.

Aber nicht nur veranlasst durch die eben erwähnten Punkte sieht Google Grund darin Eure Website zu crawlen, sondern ebenfalls in ganz speziellen Fällen wie einem Relaunch Eurer Seite. Es müssen neue URLs für alte Inhalte identifiziert werden. Das ist dann der ausschlaggebende Grund dafür eine Website zu crawlen. Sicherlich wird in diesem Fall auch die Frequenz deutlich nach oben geschraubt, sofern Eure Server dies zulassen.

Fazit

Sofern der Googlebot Eure Website crawlen kann (Crawling-Frequenz), macht er das aber natürlich nur wenn er Lust hat (Crawling-Bedarf).

Berauschende Neuigkeiten und bahnbrechende Erkenntnisse hat uns der Blogpost also nicht gebracht.Wichtig war es und bleibt es, dass man die Ressourcen, welche einem Google zuteilt effizient nutzt. Achtet demnach im Wesentlichen darauf unnötige URLs (Duplicate Content, Facetten-Filter etc.) vom Crawl auszuschließen und lasst den Bot auf den für Euch wichtigen Seiten rumtoben. Sagt übrigens auch Google 😉

Die Verschwendung von Serverressourcen für derartige Seiten geht zulasten von Crawling-Aktivitäten von Seiten, die tatsächlichen Mehrwert haben. Dadurch werden gute Inhalte auf einer Website unter Umständen erst mit deutlicher Verzögerung gefunden.

Eine Anleitung zu entsprechenden Optimierung findet Ihr hier.

In diesem Sinne „SEO might be the CEO“

 

GD Star Rating
loading...
Google und das Crawl-Budget, 2.3 out of 5 based on 3 ratings

Andreas Burde

Andreas Burde hat sich nach seiner Zeit bei der CONTENTmanufaktur als Berater im Bereich der Suchmaschinenoptimierung und Webseiten-Erstellung mit Spezialisierung auf den KMU selbstständig gemacht.
Hier kann man mehr über ihn erfahren.

 

More Posts

Schreiben Sie einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.