Mit anderen Worten: Selbst wenn ich in der robots.txt Seiten (oder ganze Bereiche) aus dem Index verbanne, werden diese trotzdem im Index sein – wenn sie von außen einen Link erhalten.

Damit verkümelt sich Google natürlich aus einer Verantwortung, die zu technischem Aufwand führen würde: So schaut der Robot eben *nicht* in der robots.txt nach, ob eine Seite aufgenommen werden soll, wenn er von außen kommt. Wenn man mal drüber nachdenkt, macht das sogar irgendwie Sinn.

Aber das wirft Probleme auf. Und zwar große: Denn wenn ich z.B. Duplicate Content oder andere Mist-Seiten nicht im Index haben möchte, reicht die robots.txt einfach nicht – sie ist in Teilen geradezu überflüssig!  Einzig ein “noindex” auf allen Seiten die nicht in den Index sollen, ist die korrekte Lösung. Und da Matt Cutts so etwas nicht einfach mal ankündigt wird dies in der nächsten Zeit sicherlich eine gewisse Rolle spielen.

Also empfehlen wir allen technischen Abteilungen, die robots.txt genau zu durchsuchen und möglichst alle Seiten und Seitenbereiche die darin stehen (und die von außen verlinkt werden können) zusätzlich im Seiten-Header mit einem “noindex” zu versehen!

Und wer z.B. einen Relaunch plant, die Seite auf einer Subdomain aufbaut und diese z.B. so für alle Robots sperren möchte:

User-agent: *
Disallow: /

…der sollte sich außerdem noch etwas anderes überlegen…

SEO am Morgen: Matt Cutts und eine geschärfte Auffassung zur robots.txt ist erschienen im Seo Book der CONTENTmanufaktur.

Related posts:

1. Matt Cutts macht den 302…
2. Matt Cutts auf der Pubcon
3. SEO am Morgen: Google pumpt Seiten

Hier meine Tipps zur Einstellung:

• Keywords: nur die Tags als Keyword einstellen (Nur Substantive)
  
• Description: Bei Beitragsseiten die Überschrift (wenn dort auch immer das Keyword zu finden ist) und bei Übersichtsseiten auch immer auf “Titel der aufgelisteten Beiträge”.
  
• Title: Hier habe ich eigentlich über all “Titel Trennzeichen Blogname”. Das macht auch für die Benutzerführung für den User am meisten Sinn – aber natürlich auch für Google.
  
• Duplicate-Content-Einstellung: “Einbindung des Robots-Tags aktivieren” sollte eingeschaltet werden. Und die Home, die Seiten, und die Artikel erhalten von mir entweder die Standard-Einstellung oder ein “index, follow”. Alle Übersichtsseiten (Tagseiten, Kategorien u.s.w.) erhalten ein “noindex, follow”. Und die Fehlerseite eine “noindex, nofollow”.
  

So jedenfalls meine Einstellungen – immer vorausgesetzt, dass ein Keyword im Titel des Beitrages steht. Wer das nicht sicherstellen kann oder will, kann bei jedem Beitrag einen händischen Titel und eine händische Descritption eingeben. Macht zwar Arbeit – aber auch richtig viel Sinn.

wpSEO ist nur dann kostenlos, wenn der Blog rein privater Natur ist. Wer einen oder mehrere kommerzielle Blogs betreibt, muss Lizenzgebühren zahlen. Das geht los bei 19,99 € und geht bis maximal 99,99 €. Erträgliche Preise, wie ich finde.

Tipp: wpSEO für WordPress-Blogs ist erschienen im Seo Book der CONTENTmanufaktur.

Related posts:

1. noindex, follow
2. Wichtige Meta-Tags
3. Lese-Empfehlung: Meta-Tags

<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>

wird die Seite nicht in den Index genommen. Das ist weder gut noch schlecht – ist halt so bei Seiten, bei denen man das nicht will. Steht dort

<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>

dann wird diese Seite nicht in den Index aufgenommen – aber den Links wird gefolgt. Laut Google hat diese Seite sogar einen Pagerank – der aber nicht gezeigt wird. Wofür soll das gut sein? z.B. für Sitemaps. Man gibt sauber seine Links weiter, aber müllt den Index nicht zu. Das findet auch Google gut.

Also: Index-Seiten, Sitemaps u.s.w. macht das sehr viel Sinn.

noindex, follow ist erschienen im Seo Book der CONTENTmanufaktur.

Related posts:

1. “Human readable Sitemap” (HTML-Sitemap)
2. Tipp: wpSEO für WordPress-Blogs
3. Aufgepasst bei Footerlinks!