SEO-Wissen: Erste Schritte mit 'nem Spider

Wozu sollte man denn bloß einen Spider über die eigene Seite krabelln lassen? Was fange ich nachher mit diesem Datenhaufen an? Und: Ist das nicht viel zu viel Arbeit für einen SEO? Ich will versuchen, auf diese Fragen Antworten zu finden.

Inspiriert zu diesem Artikel hat mich Markus Hövener mit seinem Videobeitrag über die Auswahl eine Spiders. Ich hatte danach den Verdacht, dass der eine oder andere SEO gerne noch gewusst hätte, was er (oder sie) denn mit so einem Teil eigentlich anstellen kann.

Zu Demo-Zwecken habe ich mir den Screaming Frog SEO Spider ausgesucht. Denn erstens ist der für PC und Mac gleichermaßen verfügbar, zweitens kann er out of the box für 500 zu crawlende Seiten kostenlos getestet werden (und mancher Affiliate wird möglicherweise eh keine Sites mit mehr als 500 Seiten haben) und mit einer Linzenz für 99 Dollar/Jahr wird er zu einem professionellen Tool – mit richtigem Support. An dieser Stelle viele Grüße an Dan Sharp 😉

1. Installation und Oberfläche

Schaut euch das bitte selber an. Der Sreaming Frog SEO Spider ist einfach und schnell zu installieren (jedenfalls auf dem Mac) und die Oberfläche ist im Grunde intuitiv. Ein einziger kleiner Tipp: Wenn ihr auf der Suche nach einer Information seid, lohnt sich häufig der Einsatz der rechten Maustaste. Dahinter versteckt sich eine ganze Menge…

Eine wichtige Information für alle (Noch-)Nicht-Lizensierer: Der vermutlich größte Nachteil ist, dass man zwar die Daten in Excel-Files exportieren kann – aber nicht speichern. Das heißt, das die Informationen der 500 gecrawlten Seiten beim Schließen des Spiders verloren gehen.

Was macht so ein Spider eigentlich? Er sucht auf einer vorgegebenen Seite nach Links und verfolgt diese. So kommt er – hoffentlich – auf alle Unterseiten und merkt sich einige Informationen. Das sind manche Inhalte, Links, Statuscodes (also z.B. 404 für Fehlerseiten oder 200 für o.k.) aber auch weitere Referenzen wie Canonical-Tags, Umleitungen oder Stylesheets. Das Ergebnis ist eine Liste aller Seiten und derer Links zueinander.

2. Was wir crawlen wollen

Was euch von all diesen Informationen interessiert, kommt natürlich auf euch an. Man muss sich auch die Frage stellen, ob wirklich alles untersucht werden soll – denn je mehr Daten in der Tabelle stehen, umso unübersichtlicher wir das ganze. Es gibt Scream Frog SEO Spieder eine Reihe von Einschränkungsmöglichkeiten im Crawling und spätestens bei größeren Seiten (und bei Konkurrenzseiten) sollte man diese nutzen. Und: Man kann unter Beachtung der robots.txt crawlen, oder halt nicht. Man kann einzelne Verzeichnisse crawlen, CSS und JS mit nehmen, „nofollow“ Links weg lassen und auch eigene Filter definieren. Das habe ich aber noch nie benötigt. Die Ergebnisse sind ohnehin schon gut aufbereitetn.

3. Die konkreten ersten Blicke mit dem Screaming Frog SEO Spider

Links nach außen checken

Für eigene Projekte möchte man gerne sicher sein, dass nicht zu viele Links nach außen gehen. Und wenn man sich auf einen Linktausch oder gar einen Linkkauf einlässt, dann ist es – natürlich! – höchst interessant, wohin die andere Seite sonst noch so linkt. SEO-Tools inklusive Yahoo geben darauf eine ganz ordentliche Antwort. Ein Spider gibt darauf die vollständige Antwort…

Kaputte Links intern und extern checken (404)

Gehen wir davon aus, dass die externen Links von anderen überprüft gehören. Wenn wir uns auf die internen Links konzentieren, sollten wir sehr genau darauf achten, dass wir keine „a href“s haben, die ins Leere zeigen. Und wenn, dann muss das repariert werden.

Kaputte Seiten checken (bzw. exotische Statuscodes)

Das gleiche gilt natürlich auch für komplette Unterseiten. Manchmal findet man hier wirklich exotische Statuscodes und auch seltsame Seiten überhaupt.

Alle Linkwerte auf einen Blick!

Link-Ratio

Ob eine Unterseite gut ranken kann, hat auch mit dem alten Rein-Raus-Spiel zu tun: Je mehr Links rein zeigen und je weniger raus  umso besser kann die Seite ranken und umso stärker ist jeder Link auf dieser Seite…

Umleitungen und Canonical-Tags sichtbar machen

Wenn wir gerade dabei sind: Mit Umleitungen und Canonical-Tags steuern wir auf unserer Seite den Linkjuice, ja manchmal die komplette Struktur einer Seite. Deshalb sollten wir recht genau kontrollieren, ob da nicht ein paar Canonical-Tags zu viel rein gerutscht sind. Und wohin die Konkurrenz den Juice lenkt, wird auch den einen oder anderen von euch interessieren.

Internes Linjuice Ranking

Überhaupt ist es super interessant, welche Unterseiten den meisten Linkjuice intern erhalten. Macht euch da auf einige Überraschungen gefasst…

Gut, dass "Fremdgegangen" kein relevantes Keywords für das SEO-Book ist...

Verwendete Text-Elemente

Und wer dann schließlich noch nach Title-Tags, Headings und Alt-Tags (Images) sortiert, wird sehr schnell  mit der Nase auf Unstimmigkeiten bzw. sinnlose Häufungen bei Keywords gestoßen. Denn ihr wisst ja: es ist nicht wirklich sinnvoll, 10 Seiten auf das gleiche Keyword zu optimieren. Ein bisschen mehr Konzentration auf das Wesentliche sollte man von einem SEO schon verlangen…

4. Beispiel: Landingpage Optimierung mit dem Spider

Wie optimiert man also mit einem Spider seine Landingpages? Mit den Daten im Screaming Frog SEO Spider kann man sehr genau checken, ob eine bestimmte Unterseite wirklich als Ziel für ein definiertes Keyword taugt – oder was man besser machen sollte.

Denn es sind ja nicht nur die externen Links auf die Landingpage, die eine Rolle spielen. Es geht ja auch um das Keyword-Tageting und darum, ob alle anderen Unterseiten für oder gegen die Landingpage arbeiten. Und genau dafür sind die Spiderdaten die beste Möglichkeit. Leder merkt sich der Screaming Frog SEO Spider nicht den Text einer Seite – das ist aber auch wirklich die einzige Information, die er uns vorenthält. Alle anderen internen, für eine Landingpage relevanten Daten finden sich in den Übersichten. Das sind:

  • Viele interne Links mit "Linkaufbau"? Das muss eine passende Landingpage sein...

    Title

  • Description
  • Headings
  • Meta-Tags
  • Status
  • URL
  • Zahl der Verlinkungen
  • Texte der internen Verlinkungen (!)

Na? Woher holt ihr solche Informationen sonst? Eben! Und man kann auch schnell heraus finden, welche Seite eigentlich besser auf ein Keyword optimiert ist, als die anvisierte Landingpage.

Zum Glück muss ich in dieser Runde ja nicht erklären, welche Konsequenzen sich dann auch den Erkenntnissen ergeben. Das wisst ihr sicher alle selber. Also denn, gehet nun dahin und spidert eure Projekte. Und ich freue mich auf eure Kommentare voller Tipps und Ideen.

Eine Frage will ich euch noch beantworten: „Ist das nicht zu viel Arbeit für einen SEO?“ Antwort: Das kommt darauf an, ob du als SEO eher zum Handwerker als zum Zauberer neigst. Ein Zauberer hat so einen Spider natürlich nicht nötig.

GD Star Rating
a WordPress rating system
SEO-Wissen: Erste Schritte mit 'nem Spider, 5.0 out of 5 based on 3 ratings

Eric Kubitz

Eric Kubitz ist einer der Chefs der CONTENTmanufaktur GmbH . Außerdem ist er Redner auf Konferenzen, Dozent bei Hochschulen, schreibt über SEO (und über andere Dinge) und ist der Chefredakteur des SEO-Book.

More Posts - Website - Twitter - Facebook - LinkedIn - Google Plus

Kommentare (5)

  1. Sebastian

    Schöne Zusammenfassung! …das Fazit is ja klasse *g*

    Der Ansatz vom Frosch ist vielversprechend. Allerdings habe ich festgestellt, dass die aktuelle Version – trotz ausreichend RAM – bei großen Seiten noch an ihre Grenzen stößt. Auch die Geschindigkeit verdient noch weitere Optimierung.
    ‚Andere‘ Crawler widerrum bieten weniger Möglichkeiten zur Auswertung. Muss man am Ende doch selbst coden (lassen)?

  2. Pingback: Webstandards-Magazin - Die Ausgabe Nr. 11 ist da. - Tobias Scheible

  3. Pingback: Webstandards-Magazin – Ausgabe Nr. 11 › scheible.it - Tobias Scheible

  4. Pingback: click here

  5. Pingback: likri.com

Schreiben Sie einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *