Suchanfrage/Seite des Tages: robots.txt von Google

Suchanfrage_des_Tages_-_Google-SucheHurra! Ein neues Format – mal informativ, mal lustig. Aber hoffentlich immer lehrreich.

Darin wollen wir euch künftig Seiten oder Suchanfragen vorstellen, auf die sich ein kurzer (oder manchmal längerer) Blick lohnt. Um das Ganzen mit einem seriösen Charakter zu starten, fangen wir natürlich mit dem informativen Teil an.

Guck: www.google.de/robots.txt

Guck: www.google.de/robots.txt

Fragen zur robots.txt-Datei

Immer wieder tauchen in Verbindung mit der robots.txt-Datei Unsicherheiten auf. Wie war das mit der Reihenfolge „Disallow“ und dem „Allow“ nochmal? Wie hinterlege ich mehrere Sitemaps korrekt? Wie kommentiere ich valide aus? u.s.w.

Wir haben nun ein eigentlich sehr naheliegendes Beispiel für euch, welches ihr perfekt als Best Practice heranziehen könnt:

https://www.google.de/robots.txt

Eigentlich logisch, oder? Zumindest für den Google-Crawler sollte das wohl eine sehr verlässliche Quelle sein. Und mir fallen gleich zwei wichtige Sachen darin auf:

Erstens: Schaut mal, wie viele Einträge diese robots.txt hat. Das trifft sich ja nicht unbedingt mit der sehr häufigen Empfehlung, fast nichts mehr dort einzutragen. Klar, Javascript und CSS gehören da nicht mehr rein – aber zum Sparen von Crawling-Budget ist das Teil doch ganz gut.

Zweitens: Sehr schön hier zu erkennen ist ist die Reihenfolge von „disallow“ und „allow“. Damit wird ein Bereich zunächst gesperrt und gewisse Unterbereiche darin wieder freigegeben. Das ist jetzt erst mal nichts Besonderes. Aber für einen ungeübten SEO gibt es da schon ein bisschen etwas zum Abgucken.

Wir hoffen, dass euch dieses lockere Format gefällt! Und wer nicht genug von der robots.txt bekommen kann, der klickt auf unseren Super-robots.txt-Ratgeber.

Demnächst  gibt´s dann mehr!

 

GD Star Rating
loading...

Max Bloch

Während seines Studiums der Wirtschaftsinformatik absolvierte Maximilian Bloch (28) sein Praxissemester bei der Firma 4SELLERS|logic base im Bereich Competitve Research, wo er auch später als Werkstudent in der E-Commerce-Beratung und im Vertrieb von E-Commerce-Systemen tätig war. Nach einem kurzem Zwischenstopp bei der Performance-Marketing-Agentur explido beendete er sein Studium mit einer Bachelorarbeit über Content Marketing bei der CONTENTmanufaktur. Hier war er anschließend als SEO Consultant und später Senior SEO Consultant in beratender Mission für unsere Kunden unterwegs. Inzwischen ist er Online Marketing Manager bei der Allianz und berät mit seinem SEO-Atelier Kunden im Bereich SEO und Onlinemarketing.

More Posts - Facebook