noindex, Disallow in der robots.txt oder beides? So entscheidest du richtig

Aktualisiert im Oktober 2026. Dieser Beitrag erschien ursprünglich 2012 und wurde für den heutigen Stand komplett neu geschrieben: mit einer Entscheidungstabelle, den passenden Search-Console-Statusmeldungen und der richtigen Reihenfolge beim Aufräumen.

Die Frage taucht in fast jedem Audit wieder auf: Sperre ich eine Seite per robots.txt, setze ich noindex oder sicherheitshalber beides? Die kurze Antwort lautet: beides gleichzeitig ist fast immer falsch. Die beiden Mittel lösen unterschiedliche Probleme, und wer sie kombiniert, hebelt das eine mit dem anderen aus. Hier geht es darum, wann du welches Werkzeug nimmst.

Zwei Werkzeuge, zwei Aufgaben

	Disallow (robots.txt)	noindex (Meta-Tag / X-Robots-Tag)
Steuert	das Crawling	die Indexierung
Google ruft die Seite ab	nein	ja
Seite kann im Index landen	ja, wenn sie verlinkt ist (dann ohne Inhalt)	nein
Spart Crawl-Ressourcen	ja	nein, die Seite muss gecrawlt werden
Typischer Einsatz	große Mengen technisch unnötiger URLs	einzelne Seiten, die nicht in die Suche sollen

Wie die robots.txt im Detail funktioniert, steht in robots.txt: Was du als SEO heute wissen musst. Was noindex und noindex, follow genau bewirken, erklärt der Beitrag noindex, follow. Hier geht es nur um das Zusammenspiel.

Warum die Kombination nicht funktioniert

Die Idee klingt logisch: Wer eine Seite doppelt absichert, ist auf der sicheren Seite. In Wirklichkeit passiert Folgendes:

1. Die URL ist per Disallow gesperrt. Googlebot darf sie nicht abrufen.
2. Das noindex steht aber im HTML der Seite (oder im HTTP-Header der Antwort). Ohne Abruf bekommt Google es nie zu sehen.
3. Gibt es interne oder externe Links auf die URL, kann Google sie trotzdem in den Index aufnehmen, nur eben ohne zu wissen, was auf der Seite steht.

Das Ergebnis ist ein Suchergebnis mit der nackten URL und einem Hinweis, dass keine Beschreibung verfügbar ist. In der Search Console erscheint die Seite dann unter „Indexiert, obwohl durch robots.txt-Datei blockiert“. Google sagt das in der eigenen Dokumentation auch ausdrücklich: Damit noindex wirkt, darf die Seite nicht per robots.txt gesperrt sein.

Daraus folgen zwei Merksätze:

• Soll eine Seite sicher aus dem Index, darf sie nicht in der robots.txt gesperrt sein.
• Soll eine Seite gar nicht gecrawlt werden, bringt ein noindex auf ihr nichts, weil es nie gelesen wird.

Auch ein Noindex: direkt in der robots.txt ist keine Lösung. Manche haben das früher genutzt, Google hat die inoffizielle Unterstützung dafür aber 2019 eingestellt.

Welche Lösung für welchen Fall?

Situation	Empfehlung
Interne Suchergebnisseiten, die schon im Index sind	noindex, bis sie verschwunden sind; danach optional Disallow
Interne Suche auf einer neuen Website, noch nichts indexiert	Disallow genügt meist
Filter- und Sortier-Parameter in Shops mit sehr vielen Kombinationen	Disallow für die Parameter, die keinen Suchwert haben; wertvolle Filterseiten bleiben crawlbar und indexierbar
Duplikate mit wenigen Varianten (z. B. Tracking-Parameter)	Canonical-Tag, kein Disallow, damit Google den Canonical sieht
Danke-Seite, Login, Kundenkonto	noindex; bei Login und Konto zusätzlich echter Zugriffsschutz
PDFs oder Bilder, die nicht in die Suche sollen	X-Robots-Tag: noindex im HTTP-Header
Testsystem, Staging	Passwortschutz (HTTP 401); robots.txt und noindex sind hier nur zweite Wahl
Seite gibt es nicht mehr	404 oder 410, bei passendem Ersatz eine 301-Weiterleitung
Vertrauliche Inhalte	weder noch, sondern Login oder Serverschutz

Bei gelöschten Seiten ist ein Statuscode die sauberste Lösung. Was dabei zu beachten ist, steht im Beitrag zur 404-Fehlerseite.

Die richtige Reihenfolge beim Aufräumen

Der häufigste Praxisfall: Ein Bereich ist bereits im Index und soll dort raus. Zusätzlich willst du verhindern, dass Google künftig Zeit damit verbringt. Dann gehst du in zwei Schritten vor:

1. Erst noindex. Setze das Meta-Tag oder den X-Robots-Tag und lass den Bereich crawlbar. Wenn es schnell gehen soll, reiche eine XML-Sitemap mit diesen URLs ein. So findet Google das noindex schneller.
2. Warten und kontrollieren. Im Seitenindexierungsbericht der Search Console wandern die URLs nach und nach zu „Durch ‚noindex‘-Tag ausgeschlossen“. Je nach Crawl-Häufigkeit dauert das Tage bis Monate.
3. Dann Disallow (wenn überhaupt nötig). Erst wenn die URLs aus dem Index sind, sperrst du den Bereich in der robots.txt und nimmst ihn aus der Sitemap.

Den zweiten Schritt brauchen viele Websites gar nicht. Ein Disallow lohnt sich vor allem bei sehr großen URL-Mengen, die den Crawler spürbar beschäftigen. Für eine Handvoll noindex-Seiten ist das Crawling kein Problem.

Für eine sofortige, vorübergehende Ausblendung gibt es zusätzlich das Tool „Entfernen“ in der Search Console. Es ersetzt noindex nicht, sondern überbrückt nur die Zeit, bis Google die Seite neu gecrawlt hat.

Was du in der Search Console siehst

Status im Seitenindexierungsbericht	Bedeutung	Handlungsbedarf
Durch ‚noindex‘-Tag ausgeschlossen	Google hat das noindex gesehen und befolgt	nur prüfen, ob keine wichtigen Seiten dabei sind
Durch robots.txt-Datei blockiert	Google crawlt die URL nicht und hat sie nicht indexiert	normal, wenn gewollt
Indexiert, obwohl durch robots.txt-Datei blockiert	Google kennt die URL über Links und hat sie ohne Inhalt indexiert	Disallow entfernen, noindex setzen, später ggf. wieder sperren

Bei einzelnen URLs zeigt die URL-Prüfung, ob das Crawling erlaubt ist und ob ein noindex erkannt wurde.

Sonderfall: Ressourcen und JavaScript

Sperre keine CSS-, JavaScript- oder API-Ressourcen per robots.txt, die zum Rendern deiner Seiten nötig sind. Google rendert Seiten wie ein Browser und braucht diese Dateien, um Inhalt und Layout zu verstehen. Das ist kein noindex-Thema, wird aber oft im selben Atemzug „sicherheitshalber“ mitgesperrt.

Fazit: entweder, oder und in der richtigen Reihenfolge

Disallow und noindex sind kein doppelter Gürtel, sondern zwei verschiedene Hebel. Mit noindex hältst du Seiten aus dem Index, mit Disallow hältst du den Crawler aus Bereichen fern. Gleichzeitig auf derselben URL schließen sie sich gegenseitig aus. Wer aufräumt, setzt zuerst noindex, wartet, bis Google es verarbeitet hat, und sperrt erst danach, wenn es dann noch nötig ist.