Hurra! Ein neues Format – mal informativ, mal lustig. Aber hoffentlich immer lehrreich.
Darin wollen wir euch künftig Seiten oder Suchanfragen vorstellen, auf die sich ein kurzer (oder manchmal längerer) Blick lohnt. Um das Ganzen mit einem seriösen Charakter zu starten, fangen wir natürlich mit dem informativen Teil an.
Guck: www.google.de/robots.txt
Fragen zur robots.txt-Datei
Immer wieder tauchen in Verbindung mit der robots.txt-Datei Unsicherheiten auf. Wie war das mit der Reihenfolge „Disallow“ und dem „Allow“ nochmal? Wie hinterlege ich mehrere Sitemaps korrekt? Wie kommentiere ich valide aus? u.s.w.
Wir haben nun ein eigentlich sehr naheliegendes Beispiel für euch, welches ihr perfekt als Best Practice heranziehen könnt:
https://www.google.de/robots.txt
Eigentlich logisch, oder? Zumindest für den Google-Crawler sollte das wohl eine sehr verlässliche Quelle sein. Und mir fallen gleich zwei wichtige Sachen darin auf:
Erstens: Schaut mal, wie viele Einträge diese robots.txt hat. Das trifft sich ja nicht unbedingt mit der sehr häufigen Empfehlung, fast nichts mehr dort einzutragen. Klar, Javascript und CSS gehören da nicht mehr rein – aber zum Sparen von Crawling-Budget ist das Teil doch ganz gut.
Zweitens: Sehr schön hier zu erkennen ist ist die Reihenfolge von „disallow“ und „allow“. Damit wird ein Bereich zunächst gesperrt und gewisse Unterbereiche darin wieder freigegeben. Das ist jetzt erst mal nichts Besonderes. Aber für einen ungeübten SEO gibt es da schon ein bisschen etwas zum Abgucken.
Wir hoffen, dass euch dieses lockere Format gefällt! Und wer nicht genug von der robots.txt bekommen kann, der klickt auf unseren Super-robots.txt-Ratgeber.
Demnächst gibt´s dann mehr!
