SEO am Morgen: Matt Cutts und eine geschärfte Auffassung zur robots.txt

Bookmark and Share

Das Video hat uns Googles Matt Cutts schon gestern “geschenkt” – aber erst im Laufe des Tages ist mir die Relevanz davon wirklich bewußt geworden. Nämlich, weil einer unserer Kunden genau auf dieses “Problem” reingefallen ist und plötzlich mit Seiten im Index zu finden war, die da nicht hin gehören. Schaut es euch erstmal an:

Mit anderen Worten: Selbst wenn ich in der robots.txt Seiten (oder ganze Bereiche) aus dem Index verbanne, werden diese trotzdem im Index sein – wenn sie von außen einen Link erhalten.

Damit verkümelt sich Google natürlich aus einer Verantwortung, die zu technischem Aufwand führen würde: So schaut der Robot eben *nicht* in der robots.txt nach, ob eine Seite aufgenommen werden soll, wenn er von außen kommt. Wenn man mal drüber nachdenkt, macht das sogar irgendwie Sinn.

Aber das wirft Probleme auf. Und zwar große: Denn wenn ich z.B. Duplicate Content oder andere Mist-Seiten nicht im Index haben möchte, reicht die robots.txt einfach nicht – sie ist in Teilen geradezu überflüssig!  Einzig ein “noindex” auf allen Seiten die nicht in den Index sollen, ist die korrekte Lösung. Und da Matt Cutts so etwas nicht einfach mal ankündigt wird dies in der nächsten Zeit sicherlich eine gewisse Rolle spielen.

Also empfehlen wir allen technischen Abteilungen, die robots.txt genau zu durchsuchen und möglichst alle Seiten und Seitenbereiche die darin stehen (und die von außen verlinkt werden können) zusätzlich im Seiten-Header mit einem “noindex” zu versehen!

Und wer z.B. einen Relaunch plant, die Seite auf einer Subdomain aufbaut und diese z.B. so für alle Robots sperren möchte:

User-agent: *
Disallow: /

…der sollte sich außerdem noch etwas anderes überlegen…

GD Star Rating
loading...

Eric Kubitz

Eric Kubitz ist einer der Chefs der CONTENTmanufaktur GmbH . Außerdem ist er Redner auf Konferenzen, Dozent bei Hochschulen, schreibt über SEO (und über andere Dinge) und ist der Chefredakteur des SEO-Book.

More Posts - Website - Twitter - Facebook - LinkedIn - Google Plus

Bookmark and Share
0 comments

Trackbacks

  1. [...] SEO am Morgen: Matt Cutts und eine geschärfte Auffassung zur robots.txt Tags: Google Corp., Index, Matt Cutts, nofollow, Robots.txt, Video Suchmaschinen, [...]