Screaming Frog

Auch: Screaming Frog SEO Spider, SEO Spider

Wer eine Website technisch prüft, landet früher oder später beim SEO Spider von Screaming Frog. Das Programm des gleichnamigen britischen Unternehmens, das zugleich eine Online-Marketing-Agentur betreibt, läuft unter Windows, macOS und Linux und ruft eine Website so ab, wie es ein Suchmaschinen-Crawler tut: Startadresse eingeben, Links folgen, alles protokollieren.

Für den Linkaufbau ist das Werkzeug aus einem anderen Grund interessant als für das technische SEO. Es prüft Links dort, wo sie stehen, statt sie aus einer Datenbank nachzuschlagen. Was das bedeutet, wie Sie damit Ihre Platzierungen kontrollieren und wo die Grenze liegt, zeigen die folgenden Abschnitte.

Ein Crawler auf dem eigenen Rechner

Der SEO Spider ist ein Crawler, der nicht in der Cloud, sondern auf Ihrem Computer arbeitet. Sie geben eine Startadresse ein, das Programm lädt die Seite, liest alle Links aus und folgt ihnen weiter, bis die Website vollständig erfasst ist oder ein eingestelltes Limit greift. Die Ergebnisse landen in Tabellen, die sich filtern und exportieren lassen.

Die kostenlose Version erfasst bis zu 500 URLs je Crawl. Mit einer Jahreslizenz entfällt dieses Limit, die erreichbare Menge hängt dann laut Hersteller nur noch von Arbeitsspeicher und Festplatte ab (Screaming Frog: SEO Spider). Einige Funktionen, die für Linkprüfungen wichtig sind, etwa die benutzerdefinierte Extraktion, gibt es nur mit Lizenz.

Der entscheidende Unterschied zu einem Backlink-Checker: Screaming Frog sammelt keine Daten über das Web, um sie später abzufragen. Er sieht nur, was er im Moment des Crawls selbst abruft. Welche fremden Seiten auf Ihre Domain verlinken, findet er deshalb nicht von sich aus. Er kann aber jede Seite, deren Adresse Sie ihm geben, sofort und vollständig prüfen.

Was der SEO Spider über Links erfasst

Bei einem normalen Crawl Ihrer eigenen Website liefert das Programm zu jedem Link Quelle, Ziel, Ankertext, Statuscode und Attribut. Für den Linkaufbau sind vor allem diese Berichte nützlich:

Bericht	Was er zeigt	Nutzen im Linkaufbau
Response Codes, Client Error (4xx)	Seiten und Links mit Fehlerstatus, über den Reiter „Inlinks“ samt Quellseite	Zielseiten finden, deren Backlinks ins Leere laufen
Redirects	dauerhafte und vorübergehende Weiterleitungen, Ketten und Schleifen	Linkziele auf direkte Adressen umstellen
External	alle ausgehenden Links mit Statuscode und Quellseite	defekte Verweise auf fremde Seiten aufspüren
Anchor Text, Inlinks	Ankertexte und Zahl der internen Links je URL, Attribut als „follow“ wahr oder falsch	interne Linkkraft auf wichtige Zielseiten lenken
Link Score	Wert von 0 bis 100 aus der internen Verlinkung, nach Herstellerangabe ähnlich dem PageRank	schwach verlinkte Seiten erkennen, bevor Sie Backlinks auf sie setzen
Sitemaps, Orphan URLs	URLs aus der XML-Sitemap, die beim Crawl nicht über Links gefunden wurden	Seiten ohne interne Links einbinden

Zwei Punkte sind leicht zu übersehen. Der Link Score ist eine Kennzahl von Screaming Frog, berechnet nur aus den Links, die der Crawl gefunden hat, und erst nach der sogenannten Crawl-Analyse gefüllt (Screaming Frog: Tabs). Und die Bewertung von Fehlern unterscheidet nach Herkunft: Defekte interne Links stuft das Programm als dringlicher ein als defekte Links auf fremde Websites.

Was mit kaputten Zielen und Umleitungen zu tun ist, erklären die Einträge defekter Link und Weiterleitungskette. Wie eine tragfähige Struktur aussieht, beschreibt der Beitrag zur internen Verlinkung.

Platzierungen im Listenmodus prüfen

Für Backlinks dreht sich der Ablauf um. Statt Ihre eigene Website zu crawlen, laden Sie eine Liste fremder URLs hoch, auf denen Ihre Links stehen sollen, und lassen nur diese Seiten abrufen. Screaming Frog beschreibt das Vorgehen selbst in einer Anleitung (Screaming Frog: How To Audit Backlinks):

1. Extraktion einrichten: Unter „Configuration › Custom › Extraction“ drei XPath-Ausdrücke anlegen, die alle Links auf Ihre Domain samt Ankertext und rel-Wert auslesen.
2. Listenmodus wählen: „Mode › List“. Wer sehen will, ob eine Quellseite per robots.txt gesperrt ist, schaltet das standardmäßig gesetzte Ignorieren der robots.txt ab.
3. URLs hochladen: vollständige Adressen mit https://, etwa aus Ihrer Liste gekaufter oder gewonnener Platzierungen.
4. Ergebnis lesen: Im Reiter „Custom“ stehen je Quellseite Statuscode, gefundener Link, Ankertext und Attribut. Ein noindex oder nofollow per Meta-Tag oder HTTP-Header zeigt der Reiter „Internal“.

//a[contains(@href, 'ihre-domain.de')]/@href
//a[contains(@href, 'ihre-domain.de')]
//a[contains(@href, 'ihre-domain.de')]/@rel

Der Hersteller schreibt dazu offen, das Programm sei für diesen Zweck nicht gebaut und die Lösung nicht perfekt. Für eine Stichtagsprüfung von einigen Dutzend bis einigen Hundert Platzierungen reicht sie trotzdem. Wer nur wenige Links prüft, kommt ohne Installation mit dem Link-Checker aus.

Linkdaten von Majestic, Ahrefs und Moz einbinden

Was der Crawl selbst nicht weiß, kann der SEO Spider über Schnittstellen nachladen. Unter „Configuration › API Access“ lassen sich Majestic, Ahrefs und Moz verbinden. Nach dem Crawl stehen deren Kennzahlen je URL, Subdomain oder Domain im Reiter „Link Metrics“, etwa Trust Flow (Majestic) oder die Zahl verweisender Domains (Screaming Frog: Configuration).

Voraussetzung ist jeweils ein eigenes Konto beim Datenanbieter mit Schnittstellenzugang, die Abfragen zählen gegen dessen Kontingent. Die Werte bleiben Kennzahlen des jeweiligen Anbieters: Screaming Frog rechnet sie nicht um und ergänzt keine eigene Bewertung.

Beispiel: 40 Platzierungen nach einem Jahr

Ein konstruiertes Beispiel: Ein Maschinenbauer hat im Vorjahr 40 Platzierungen in Fachmedien gebucht. Die Agentur hat eine Liste der Artikel-URLs geliefert, mehr nicht. Die Marketingabteilung lädt diese Liste in den Listenmodus und erhält nach wenigen Minuten vier Gruppen:

• Link steht wie vereinbart: Status 200, Link auf die eigene Domain gefunden, Attribut wie im Angebot.
• Seite weg: Status 404 oder 410. Hier fehlt nicht der Link, sondern der ganze Artikel.
• Seite da, Link weg: Status 200, aber keine Extraktion. Häufig nach einer Überarbeitung des Artikels.
• Attribut geändert: Link vorhanden, aber nachträglich mit nofollow oder sponsored versehen, oder die Seite trägt inzwischen noindex.

Für die zweite und dritte Gruppe lohnt eine Nachfrage beim Medium, wenn die Laufzeit vertraglich zugesichert war. Ein Attribut sponsored auf einem bezahlten Link ist dagegen kein Mangel, sondern die korrekte Kennzeichnung. Wie aus der einmaligen Prüfung ein fester Monatsablauf wird, beschreibt der Beitrag Backlink-Monitoring.

Grenzen: kein Index, keine Google-Sicht

• Keine Linkfunde von außen: Backlinks, deren Quellseite Sie nicht kennen, findet der SEO Spider nicht. Dafür braucht es einen Backlink-Index oder den Linkbericht der Google Search Console.
• Nur, was er abrufen darf: Blockiert eine Website automatisierte Zugriffe, etwa per Firewall oder Bot-Schutz, erhält das Programm einen Fehlercode statt der Seite. Ein fehlender Link ist dann nicht belegt.
• JavaScript nur mit Rendering: Links, die erst per Skript entstehen, sieht der Crawl nur, wenn das Rendering eingeschaltet ist. Ob Google sie genauso sieht, ist damit nicht gesagt.
• Eigene Kennzahlen, keine Google-Werte: Link Score und Problemhinweise sind Bewertungen von Screaming Frog. Wie Google eine Seite gewichtet, zeigt kein externes Programm.
• Momentaufnahme: Jeder Crawl zeigt den Stand eines Tages. Einen Verlauf gibt es nur, wenn Sie Crawls speichern und vergleichen.

Im Werkzeugkasten ist Screaming Frog damit die Ergänzung, nicht der Ersatz für eine Linkdatenbank: Der Index sagt Ihnen, wo Links stehen könnten, der Crawler prüft, ob sie dort wirklich stehen.

Häufige Fragen

Alle 327 Begriffe im Glossar