Aktualisiert im Oktober 2026. Dieser Beitrag erschien ursprünglich 2013 und wurde für den heutigen Stand komplett neu geschrieben: mit dem offiziellen Standard RFC 9309, dem robots.txt-Bericht der Search Console und den neuen KI-Crawlern.
Die robots.txt ist die erste Datei, die ein seriöser Crawler auf deiner Domain abruft. Sie ist winzig, aber ein einziger falscher Schrägstrich kann ganze Verzeichnisse aus der Suche verschwinden lassen. Gleichzeitig wird sie oft für Dinge eingesetzt, die sie gar nicht kann. Hier steht, was die Datei leistet, wie Google sie liest und wo die typischen Stolperfallen liegen.
Was die robots.txt kann und was nicht
Die robots.txt regelt das Crawling, nicht die Indexierung. Das ist der wichtigste Satz dieses Artikels.
- Sie kann: Crawlern sagen, welche Pfade sie nicht abrufen sollen. Das spart Crawl-Budget und hält Bots aus Bereichen fern, in denen sie nichts verloren haben, etwa interne Suche oder Warenkorb.
- Sie kann nicht: eine Seite zuverlässig aus dem Google-Index fernhalten. Ist eine gesperrte URL von außen verlinkt, kann Google sie trotzdem indexieren, nur ohne Inhalt. In der Search Console heißt das dann „Indexiert, obwohl durch robots.txt-Datei blockiert“.
- Sie schützt nichts: Die Datei ist öffentlich lesbar und eine freundliche Bitte, kein Zugriffsschutz. Scraper und böswillige Bots ignorieren sie. Wer etwas wirklich schützen will, braucht ein Login, Basic Auth oder Regeln auf Server- bzw. Firewall-Ebene.
Willst du eine Seite aus dem Index haben, nutze noindex (Meta-Tag oder HTTP-Header) und lass die Seite crawlbar. Sperrst du sie zusätzlich per robots.txt, sieht Google das noindex nie.
Wo die Datei liegt und wofür sie gilt
- Sie liegt immer im Wurzelverzeichnis:
https://www.example.com/robots.txt. In Unterverzeichnissen wird sie ignoriert. - Sie gilt nur für genau diesen Host, dieses Protokoll und diesen Port.
https://example.com,https://www.example.comundhttps://shop.example.combrauchen jeweils eine eigene Datei. - Die Datei muss als Text (UTF-8) ausgeliefert werden. Google wertet höchstens 500 KiB aus; alles darüber wird ignoriert.
- Google speichert die robots.txt in der Regel bis zu 24 Stunden zwischen. Änderungen wirken also nicht sofort.
Was passiert, wenn die Datei fehlt oder nicht erreichbar ist?
| Antwort des Servers | Verhalten von Google |
|---|---|
| 200 | Die Regeln werden angewendet. |
| 404 / 410 (andere 4xx außer 429) | Google geht davon aus, dass es keine Einschränkungen gibt, und crawlt alles. |
| 5xx oder 429 | Google behandelt die Website vorübergehend als komplett gesperrt und crawlt nicht. Hält der Fehler an, nutzt Google eine zwischengespeicherte Version, sofern vorhanden. |
Ein dauerhafter Serverfehler auf /robots.txt kann das Crawling deiner ganzen Website ausbremsen. Das ist einer der Fälle, die man im Monitoring haben sollte.
Aufbau: Gruppen, User-Agents und Regeln
Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, danach folgen die Regeln:
User-agent: *
Disallow: /suche/
Disallow: /warenkorb/
User-agent: Googlebot-Image
Disallow: /intern/
Sitemap: https://www.example.com/sitemap_index.xmlDie Grundregeln:
User-agentnennt den Crawler.*steht für alle Crawler, die keine eigene Gruppe haben.Disallowsperrt einen Pfad,Allowgibt ihn (wieder) frei. Ein leeresDisallow:sperrt nichts.- Pfade beginnen immer mit
/und sind case-sensitiv:/Shop/und/shop/sind verschiedene Pfade. Die Feldnamen selbst (disallow,Disallow) dürfen beliebig geschrieben werden. #leitet einen Kommentar ein.Sitemapsteht außerhalb der Gruppen, enthält eine absolute URL und darf mehrfach vorkommen.
Nur eine Gruppe zählt
Ein Crawler sucht sich die eine Gruppe, die am genauesten zu seinem Namen passt, und befolgt nur diese. Hat Googlebot eine eigene Gruppe, ignoriert er alles, was unter User-agent: * steht. Regeln, die für beide gelten sollen, musst du also in beiden Gruppen wiederholen. Das wird in der Praxis erstaunlich oft übersehen.
Wenn sich Regeln widersprechen
Google wendet die spezifischste Regel an, also die mit dem längsten passenden Pfad. Sind zwei Regeln gleich lang, gewinnt die weniger restriktive, also Allow. Die Reihenfolge in der Datei spielt keine Rolle.
User-agent: *
Disallow: /blog/
Allow: /blog/ratgeber/Hier bleibt /blog/ gesperrt, /blog/ratgeber/ und alles darunter ist erlaubt, weil die Allow-Regel länger ist.
Platzhalter: * und $
*steht für beliebig viele Zeichen:Disallow: /*?sessionid=sperrt alle URLs mit diesem Parameter.$markiert das Ende der URL:Disallow: /*.pdf$sperrt alle PDF-Dateien, aber nicht/pdf-ratgeber/.
Beide Zeichen sind seit 2022 Teil des offiziellen Standards (RFC 9309) und werden von Google und Bing unterstützt. Bei kleineren Crawlern solltest du dich nicht darauf verlassen.
Praxisbeispiele
Testsystem oder Staging komplett sperren:
User-agent: *
Disallow: /Für ein Staging-System reicht das allein nicht. Ist die URL irgendwo verlinkt, landet sie trotzdem im Index. Besser: Passwortschutz davor. Und vor dem Livegang unbedingt prüfen, dass diese Zeile nicht mit auf die Live-Website wandert.
Interne Suche und Filter-Parameter vom Crawling ausnehmen:
User-agent: *
Disallow: /suche/
Disallow: /*?filter=
Disallow: /*&sort=Prüfe vorher, ob für Parameter-URLs nicht ein Canonical-Tag die bessere Lösung ist. Ist eine URL per robots.txt gesperrt, sieht Google auch deren Canonical nicht.
Ein Verzeichnis sperren, ein Unterverzeichnis freigeben:
User-agent: *
Disallow: /intern/
Allow: /intern/presse/WordPress: ein sinnvoller Standard
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/sitemap_index.xmlMehr braucht eine typische WordPress-Website meistens nicht. Plugins wie Yoast SEO erzeugen eine ähnliche Datei automatisch.
Die wichtigsten Crawler
| Betreiber | User-Agent | Wofür |
|---|---|---|
Googlebot |
Websuche (Smartphone und Desktop) | |
Googlebot-Image, Googlebot-Video, Googlebot-News |
Bilder-, Video- und News-Suche | |
Storebot-Google |
Shopping | |
AdsBot-Google |
Qualitätsprüfung von Anzeigen-Zielseiten. Wichtig: ignoriert User-agent: * und muss ausdrücklich genannt werden. |
|
Google-Extended |
Steuert, ob Inhalte für das Training und Grounding von Gemini genutzt werden. Kein eigener Crawler und ohne Einfluss auf Rankings oder AI Overviews. | |
| Microsoft | Bingbot |
Bing-Suche (und damit auch Ergebnisse, die andere Dienste von Bing beziehen) |
| Apple | Applebot, Applebot-Extended |
Siri/Spotlight; -Extended steuert das KI-Training |
| OpenAI | GPTBot, OAI-SearchBot, ChatGPT-User |
KI-Training, ChatGPT-Suche, Abrufe im Auftrag von Nutzern |
| Anthropic | ClaudeBot, Claude-SearchBot, Claude-User |
KI-Training, Suche, Abrufe im Auftrag von Nutzern |
| Perplexity | PerplexityBot |
Perplexity-Suche |
| Common Crawl | CCBot |
Offener Web-Crawl, häufig Datenbasis für KI-Modelle |
Den früher üblichen Googlebot-Mobile gibt es nicht mehr. Seit dem Mobile-First-Indexing crawlt Google ohnehin hauptsächlich mit dem Smartphone-Googlebot, der sich als Googlebot meldet.
KI-Crawler gezielt steuern
Die meisten großen KI-Anbieter respektieren die robots.txt. Für viele Websites ist das heute die eigentlich spannende Frage: Wer darf meine Inhalte fürs Training nutzen, und wer soll mich in KI-Antworten zitieren können?
Ein Beispiel, das Training ausschließt, Such- und Antwortfunktionen aber zulässt:
# KI-Training nicht erlauben
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
# KI-Suche und Nutzer-Abrufe erlauben
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /Mehrere User-agent-Zeilen über einer Regelgruppe sind erlaubt und halten die Datei übersichtlich. Bevor du KI-Crawler pauschal aussperrst: Wer in ChatGPT, Perplexity oder Googles AI Overviews als Quelle auftauchen will, sollte die Such-Crawler nicht blockieren. Die AI Overviews steuerst du übrigens nicht per robots.txt, sondern nur über die normale Indexierung bzw. nosnippet.
Die Namen der KI-Crawler ändern sich häufiger als bei klassischen Suchmaschinen. Schau bei den Anbietern nach, bevor du eine Liste übernimmst.
Die häufigsten Fehler
Disallow: /vom Staging übernommen. Der Klassiker nach jedem Relaunch. Nach dem Livegang ist die robots.txt die erste Datei, die man prüft.- CSS und JavaScript gesperrt. Google rendert Seiten wie ein Browser. Sind Stylesheets oder Skripte gesperrt, sieht Google eine kaputte Seite. Ressourcen, die zum Rendern nötig sind, gehören nicht in die robots.txt.
- robots.txt statt
noindex. Gesperrt heißt nicht deindexiert, siehe oben. UndNoindex:in der robots.txt selbst wird von Google seit 2019 nicht mehr unterstützt. Crawl-delayfür Google. Google ignoriert die Angabe. Bing wertet sie aus. Die Crawl-Frequenz von Googlebot regelt Google selbst anhand der Serverantworten.- Spezielle Gruppe ohne die allgemeinen Regeln. Siehe „Nur eine Gruppe zählt“: Eine eigene Googlebot-Gruppe hebelt alle
*-Regeln für Google aus. - Falsche Groß-/Kleinschreibung oder fehlender Schrägstrich.
Disallow: administ ungültig,Disallow: /Admin/sperrt/admin/nicht. - Lange, historisch gewachsene Dateien. Wenn niemand mehr erklären kann, warum eine Zeile drinsteht, sperrt sie vielleicht gerade eine wichtige Landingpage.
robots.txt prüfen
- Search Console: Unter Einstellungen → robots.txt zeigt der robots.txt-Bericht, welche Version Google zuletzt abgerufen hat, wann das war und ob es Fehler gab. Dort kannst du auch einen erneuten Abruf anstoßen. Ob eine bestimmte URL gesperrt ist, zeigt die URL-Prüfung.
- Bing Webmaster Tools haben einen eigenen robots.txt-Tester.
- Crawler wie Screaming Frog können eine geänderte robots.txt simulieren, bevor du sie live stellst.
- Für einen ersten Entwurf oder eine Kontrolle eignet sich auch ein KI-Assistent. Wie das geht, steht in unserem Beitrag robots.txt prüfen und erstellen mit ChatGPT. Das Ergebnis solltest du trotzdem immer selbst gegenlesen.
Fazit: so kurz wie möglich
Die beste robots.txt ist meistens eine kurze. Starte mit „alles erlaubt“, ergänze nur Regeln, die du begründen kannst, und dokumentiere sie mit Kommentaren. Für die Indexierung ist noindex zuständig, für Duplikate das Canonical-Tag und für echten Schutz der Server. Die robots.txt kümmert sich ums Crawling, und das macht sie gut.