Aktualisiert im Oktober 2026. Dieser Beitrag erschien ursprünglich 2013 und wurde für den heutigen Stand komplett neu geschrieben: Die Liste ist auf 2026 aktualisiert, eingestellte Funktionen wie „Abruf wie durch Google“ und das URL-Parameter-Tool sind ersetzt, überholte Tipps sind gekennzeichnet.
Crawlability heißt: Suchmaschinen finden deine wichtigen Seiten schnell und vollständig und verschwenden möglichst wenig Zeit mit URLs, die niemandem nützen. Für kleine Websites erledigt sich das oft von selbst. Ab einigen Tausend URLs, bei Shops mit Filtern oder bei Portalen mit täglich neuen Inhalten lohnt es sich, den Crawler bewusst zu führen. Hier sind 22 Werkzeuge und Maßnahmen dafür, sortiert nach Aufgabe.
Welche Seiten überhaupt in den Index gehören, ist eine eigene Frage. Die behandelt der Beitrag Gute Seiten, schlechte Seiten. Hier geht es um das Wie.
Wichtige Seiten auffindbar machen
1. XML-Sitemap
Die XML-Sitemap ist weniger Ranking-Hebel als Lieferschein und Kontrollinstrument. Faustregeln:
- Nur URLs aufnehmen, die indexiert werden sollen: Statuscode 200, kein
noindex, selbstreferenzierendes Canonical. - Eine Datei darf höchstens 50.000 URLs und 50 MB (unkomprimiert) enthalten. Größere Websites nutzen einen Sitemap-Index und teilen sinnvoll auf, etwa nach Seitentyp. Dann siehst du in der Search Console pro Bereich, wie viel indexiert ist.
lastmodnutzt Google, wenn der Wert zuverlässig stimmt.priorityundchangefreqignoriert Google.- Die Sitemap in der Search Console einreichen und in der robots.txt angeben. Den früheren „Ping“-Endpunkt für Sitemaps hat Google 2023 abgeschaltet.
2. HTML-Sitemap und Übersichtsseiten
Eine HTML-Sitemap, ein A-Z-Index oder ein Archiv verlinkt Seiten, die in der Navigation untergehen, etwa ältere Beiträge oder Produkte. Sie muss nicht die Navigation spiegeln. Halte die einzelnen Seiten überschaubar und gestalte sie so, dass auch Menschen etwas damit anfangen können. Dann lässt sie sich gut im Footer verlinken.
3. Navigation
Die Hauptnavigation legt die Hierarchie fest und ist auf jeder Seite verfügbar. Bewährt hat sich eine Navigation, die innerhalb der aktuellen Kategorie tiefer aufklappt und andere Bereiche nur grob zeigt. Wichtig: Navigationslinks müssen echte <a href>-Links sein, nicht per JavaScript nachgeladene Klick-Handler.
4. Kontextuelle interne Links
Verwandte Artikel, „Passend dazu“, Zubehör-Boxen: Querverlinkungen zwischen Seiten derselben Ebene bringen ältere Inhalte wieder in Reichweite des Crawlers. Bei vielen Inhalten lohnt eine automatische Lösung, ergänzt um gezielte Links im Fließtext. Mehr dazu in Interne Verlinkung optimieren.
5. Paginierung
In langen Listen landen ältere Produkte oder Beiträge auf Seite 20 und mehr. Damit sie erreichbar bleiben:
- Folgeseiten indexierbar lassen, jede mit eigenem, selbstreferenzierendem Canonical.
- Statt nur „weiter“ auch Sprünge anbieten (etwa 1, 2, 3 … 10, 20, 50), damit die Klicktiefe sinkt.
- Mehr Einträge pro Seite reduzieren die Anzahl der Folgeseiten.
Früher und heute: 2013 wurde für Folgeseiten noindex, follow empfohlen und rel="next"/"prev" als Experiment genannt. Beides ist überholt. Google nutzt rel="next"/"prev" nicht mehr; Details in Paginierung ohne rel=next/prev.
6. URL-Prüfung in der Search Console
Früher hieß die Funktion „Abruf wie durch Google“. Heute zeigt die URL-Prüfung, ob eine Seite indexiert ist, wie Google sie gerendert hat und welche Canonical-URL Google gewählt hat. Über „Indexierung beantragen“ stößt du einen Abruf für einzelne, wichtige URLs an. Für ganze Bereiche ist das nicht gedacht; dafür sind Sitemap und interne Links da.
7. IndexNow (für Bing und andere)
IndexNow ist ein offenes Protokoll, über das du Suchmaschinen neue oder geänderte URLs sofort meldest. Bing, Yandex und weitere Suchmaschinen unterstützen es, Google nicht. Viele CMS-Plugins und CDNs bringen es mit. Die Indexing API von Google ist übrigens nur für Stellenanzeigen und Livestream-Events vorgesehen, nicht für normale Seiten.
Unnötige URLs eindämmen
8. robots.txt
Mit Disallow hältst du den Crawler aus Bereichen fern, in denen er nichts findet, was in die Suche gehört: interne Suche, unendliche Filterkombinationen, Session-Parameter. Die robots.txt steuert das Crawling, nicht den Index. Wie sie funktioniert, steht in robots.txt: Was du als SEO heute wissen musst.
9. noindex
Das Robots-Meta-Tag (oder der X-Robots-Tag-Header) hält einzelne Seiten aus dem Index. Spart aber kein Crawling, denn Google muss die Seite abrufen, um das Tag zu lesen. Was noindex, follow heute noch bringt, steht in noindex, follow. Und warum du noindex nicht mit einem Disallow kombinieren solltest, in noindex, Disallow oder beides?.
10. Duplicate Content vermeiden
Der beste Umgang mit Duplikaten ist, sie gar nicht erst entstehen zu lassen: eine Domain-Variante (https, mit oder ohne www), konsistente Schreibweise mit oder ohne Slash am Ende, keine Druckversionen, keine Session-IDs in URLs. Was nicht existiert, muss auch nicht gesteuert werden.
11. Canonical-Tag
Für Duplikate, die sich nicht vermeiden lassen, etwa Tracking-Parameter oder Produktvarianten, zeigt das Canonical-Tag auf die bevorzugte URL. Google wertet es als starken Hinweis, nicht als Befehl, und ignoriert es, wenn die Seiten inhaltlich zu verschieden sind. Alles Weitere im Canonical-Leitfaden.
12. URL-Parameter im Griff behalten
Das URL-Parameter-Tool in der Search Console gibt es seit 2022 nicht mehr. Parameter steuerst du heute nur noch auf deiner Website selbst: über sauber generierte Links, Canonical-Tags und bei Bedarf über die robots.txt. Lege eine Liste aller Parameter an, die dein System erzeugt, und notiere für jeden, ob er den Inhalt ändert.
13. Klare Statuscodes
Seiten, die es nicht mehr gibt, liefern 404 oder 410. Gibt es einen echten Nachfolger, leitest du per 301 weiter. Problematisch sind „Soft 404“: Seiten, die „nicht gefunden“ anzeigen, aber Status 200 senden. Google crawlt sie weiter, weil sie wie normale Seiten aussehen. Mehr in 404-Fehlerseite: alles zum Statuscode.
14. Weiterleitungsketten auflösen
Jede Weiterleitung kostet einen zusätzlichen Abruf. Interne Links sollten direkt auf die Ziel-URL zeigen, Ketten aus mehreren Weiterleitungen gehören nach jedem Relaunch aufgeräumt.
Schnelle Auslieferung
Google passt die Crawl-Frequenz an die Leistungsfähigkeit deines Servers an. Antwortet er schnell und fehlerfrei, ruft Googlebot mehr Seiten ab; häufen sich langsame Antworten oder 5xx-Fehler, bremst er ab.
15. Serverantwortzeit und Hosting
Die Zeit bis zum ersten Byte hängt an Hosting, Datenbankabfragen und Anwendungscode. Ein unterdimensionierter Server oder ein überladenes Plugin-Setup bremst Nutzer und Crawler gleichermaßen.
16. Caching und CDN
Seiten-Caching, Objekt-Cache für die Datenbank und ein CDN für statische Dateien reduzieren die Last deutlich. Ein CDN darf Googlebot allerdings nicht versehentlich mit Bot-Schutz oder Captchas aussperren.
17. Dateigrößen und Kompression
Bilder in passender Größe und modernen Formaten wie WebP oder AVIF, Textkompression mit gzip oder Brotli, schlankes CSS und JavaScript. Das Zusammenfassen von Dateien und CSS-Sprites, früher Standardtipps, sind seit HTTP/2 weniger wichtig. Googlebot crawlt seit 2020 auch per HTTP/2. Hinweise zu Bildern stehen im Bilder-SEO-Leitfaden.
18. JavaScript-Rendering
Lädt deine Website Inhalte oder Links erst per JavaScript, muss Google die Seite rendern, bevor es sie sieht. Prüfe in der URL-Prüfung, ob der gerenderte HTML-Code die Inhalte und Links enthält. Wichtige Inhalte sollten möglichst schon im ausgelieferten HTML stehen (Server-Side-Rendering oder statisches Generieren).
Analysieren und kontrollieren
19. Search-Console-Berichte
- Seitenindexierung: Welche URLs sind indexiert, welche nicht, und warum?
- Crawling-Statistik (unter Einstellungen): Anfragen pro Tag, Antwortzeiten, Statuscodes, Anteil nach Dateityp und Zweck.
- Sitemaps: eingereichte gegen indexierte URLs je Sitemap.
20. Crawler-Software
Ein eigener Crawl zeigt dir, was Googlebot vorfindet: Klicktiefe, verwaiste Seiten, Weiterleitungsketten, widersprüchliche Canonicals, noindex-Seiten in der Sitemap. Verbreitete Werkzeuge:
| Werkzeug | Art |
|---|---|
| Screaming Frog SEO Spider | Desktop-Crawler, kostenlos bis 500 URLs |
| Sitebulb | Desktop- und Cloud-Crawler mit ausführlichen Hinweisen |
| Lumar (früher Deepcrawl) | Cloud-Crawler für große Websites |
| Botify, Oncrawl, JetOctopus | Enterprise-Plattformen mit Crawl- und Logfile-Analyse |
| Site-Audits in SISTRIX, Semrush, Ahrefs | Onpage-Crawl als Teil der SEO-Suite |
Für kleine Websites reicht oft die kostenlose Version von Screaming Frog. Bei sehr großen Websites lohnt sich eine Cloud-Lösung, die regelmäßig und automatisch crawlt.
21. Logfile-Analyse
Nur die Server-Logs zeigen, welche URLs Googlebot tatsächlich abruft und wie oft. Typische Erkenntnisse: Der Crawler hängt in Filter-Parametern fest, wichtige Kategorien werden kaum besucht, alte Weiterleitungen werden täglich abgefragt. Werkzeuge sind etwa der Screaming Frog Log File Analyser oder die Enterprise-Plattformen aus Punkt 20. Prüfe dabei, ob Zugriffe wirklich von Google stammen; den User-Agent kann jeder fälschen, Google veröffentlicht die IP-Bereiche seiner Crawler.
22. Bing Webmaster Tools
Bing ist nicht nur eine eigene Suchmaschine, sondern liefert Daten an weitere Dienste. Die Bing Webmaster Tools bieten Crawl- und Indexierungsberichte, einen Site-Scan und die Einbindung von IndexNow. Eine Anmeldung kostet wenig Zeit.
Was 2013 noch empfohlen wurde und heute nicht mehr gilt
| Damaliger Tipp | Stand 2026 |
|---|---|
| „Abruf wie durch Google“ inklusive verlinkter Seiten | ersetzt durch die URL-Prüfung, nur noch Einzel-URLs |
| URL-Parameter in den Webmaster Tools einstellen | Tool 2022 eingestellt |
Paginierte Seiten auf noindex, follow |
indexierbar mit eigenem Canonical |
rel="next"/"prev" ausprobieren |
von Google nicht mehr genutzt |
| Canonical von einer gut verlinkten auf eine ganz andere Seite setzen | funktioniert nicht zuverlässig, Google ignoriert unpassende Canonicals |
Interne Links (z. B. Login, Warenkorb) auf nofollow setzen |
nofollow ist seit 2020 nur noch ein Hinweis; für die Crawl-Steuerung ungeeignet |
| Aktualität als Beschleuniger für die Indexierung | Inhalte aktuell zu halten ist sinnvoll, aber kein Crawling-Werkzeug |
| JavaScript und CSS zusammenfassen, Sprites | durch HTTP/2 weniger wichtig |
Fazit: sauber bauen statt tricksen
Die meisten dieser 22 Werkzeuge sind unspektakulär: eine saubere Sitemap, gute interne Links, eindeutige URLs, klare Statuscodes und ein schneller Server. Laut Google ist das Crawl-Budget ohnehin vor allem für sehr große oder sich schnell ändernde Websites ein Thema. Wer die Grundlagen sauber umsetzt, braucht keine Tricks, und spart sich beim nächsten Relaunch viel Ärger.