SEO am Morgen: Matt Cutts und eine geschärfte Auffassung zur robots.txt

Das Video hat uns Googles Matt Cutts schon gestern „geschenkt“ – aber erst im Laufe des Tages ist mir die Relevanz davon wirklich bewußt geworden. Nämlich, weil einer unserer Kunden genau auf dieses „Problem“ reingefallen ist und plötzlich mit Seiten im Index zu finden war, die da nicht hin gehören. Schaut es euch erstmal an:

Der Inhalt ist nicht verfügbar.
Bitte erlaube Cookies, indem du auf Übernehmen im Banner klickst.

Mit anderen Worten: Selbst wenn ich in der robots.txt Seiten (oder ganze Bereiche) aus dem Index verbanne, werden diese trotzdem im Index sein – wenn sie von außen einen Link erhalten.

Damit verkümelt sich Google natürlich aus einer Verantwortung, die zu technischem Aufwand führen würde: So schaut der Robot eben *nicht* in der robots.txt nach, ob eine Seite aufgenommen werden soll, wenn er von außen kommt. Wenn man mal drüber nachdenkt, macht das sogar irgendwie Sinn.

Aber das wirft Probleme auf. Und zwar große: Denn wenn ich z.B. Duplicate Content oder andere Mist-Seiten nicht im Index haben möchte, reicht die robots.txt einfach nicht – sie ist in Teilen geradezu überflüssig!  Einzig ein „noindex“ auf allen Seiten die nicht in den Index sollen, ist die korrekte Lösung. Und da Matt Cutts so etwas nicht einfach mal ankündigt wird dies in der nächsten Zeit sicherlich eine gewisse Rolle spielen.

Also empfehlen wir allen technischen Abteilungen, die robots.txt genau zu durchsuchen und möglichst alle Seiten und Seitenbereiche die darin stehen (und die von außen verlinkt werden können) zusätzlich im Seiten-Header mit einem „noindex“ zu versehen!

Und wer z.B. einen Relaunch plant, die Seite auf einer Subdomain aufbaut und diese z.B. so für alle Robots sperren möchte:

User-agent: *
Disallow: /

…der sollte sich außerdem noch etwas anderes überlegen…

Eric Kubitz

Eric Kubitz ist einer der Chefs der CONTENTmanufaktur GmbH . Außerdem ist er Redner auf Konferenzen, Dozent bei Hochschulen, schreibt über SEO (und über andere Dinge) und ist der Chefredakteur des SEO-Book. Jetzt schreibt allerdings mehr auf dem Contentman

More Posts - Website - Twitter - Facebook - LinkedIn - Google Plus

Durch die weitere Nutzung der Seite stimmst du der Verwendung von Cookies zu. Weitere Informationen

Die Cookie-Einstellungen auf dieser Website sind auf "Cookies zulassen" eingestellt, um das beste Surferlebnis zu ermöglichen. Wenn du diese Website ohne Änderung der Cookie-Einstellungen verwendest oder auf "Akzeptieren" klickst, erklärst du sich damit einverstanden.

Schließen