Suchanfrage/Seite des Tages: robots.txt von Google

Suchanfrage_des_Tages_-_Google-SucheHurra! Ein neues Format – mal informativ, mal lustig. Aber hoffentlich immer lehrreich.

Darin wollen wir euch künftig Seiten oder Suchanfragen vorstellen, auf die sich ein kurzer (oder manchmal längerer) Blick lohnt. Um das Ganzen mit einem seriösen Charakter zu starten, fangen wir natürlich mit dem informativen Teil an.

Guck: www.google.de/robots.txt

Guck: www.google.de/robots.txt

Fragen zur robots.txt-Datei

Immer wieder tauchen in Verbindung mit der robots.txt-Datei Unsicherheiten auf. Wie war das mit der Reihenfolge „Disallow“ und dem „Allow“ nochmal? Wie hinterlege ich mehrere Sitemaps korrekt? Wie kommentiere ich valide aus? u.s.w.

Wir haben nun ein eigentlich sehr naheliegendes Beispiel für euch, welches ihr perfekt als Best Practice heranziehen könnt:

https://www.google.de/robots.txt

Eigentlich logisch, oder? Zumindest für den Google-Crawler sollte das wohl eine sehr verlässliche Quelle sein. Und mir fallen gleich zwei wichtige Sachen darin auf:

Erstens: Schaut mal, wie viele Einträge diese robots.txt hat. Das trifft sich ja nicht unbedingt mit der sehr häufigen Empfehlung, fast nichts mehr dort einzutragen. Klar, Javascript und CSS gehören da nicht mehr rein – aber zum Sparen von Crawling-Budget ist das Teil doch ganz gut.

Zweitens: Sehr schön hier zu erkennen ist ist die Reihenfolge von „disallow“ und „allow“. Damit wird ein Bereich zunächst gesperrt und gewisse Unterbereiche darin wieder freigegeben. Das ist jetzt erst mal nichts Besonderes. Aber für einen ungeübten SEO gibt es da schon ein bisschen etwas zum Abgucken.

Wir hoffen, dass euch dieses lockere Format gefällt! Und wer nicht genug von der robots.txt bekommen kann, der klickt auf unseren Super-robots.txt-Ratgeber.

Demnächst  gibt´s dann mehr!

 

GD Star Rating
loading...

Max Bloch

Das Thema "Online" begleitet Maximilian Bloch (29) seit inzwischen zehn Jahren. Er studierte Wirtschaftsinformatik an der Hochschule Augsburg und war als SEO-Consultant bzw. Senior SEO-Consultant bei der CONTENTmanufaktur tätig. Momentan ist er als Senior Online Marketing Manager für die technische Suchmaschinenoptimierung der Allianz Deutschland AG verantwortlich und betreut mit seinem SEO-Atelier Kunden und Websites aller Größen hinsichtlich SEO, Online Marketing-Strategie und Workshops. Weiterhin übernimmt er eine Dozentenrolle für Suchmaschinenoptimierung bei der Akademie der Bayerischen Presse (ABP).

More Posts - Facebook