Screaming Frog

Screaming Frog ist ein Desktop-Crawler für technische Suchmaschinenoptimierung, entwickelt von der gleichnamigen Agentur aus Henley-on-Thames im britischen Oxfordshire. Das Kernprodukt SEO Spider simuliert das Verhalten eines Suchmaschinen-Crawlers auf einer Website und liefert in einem Durchlauf über 300 technische Prüfergebnisse, von nicht mehr erreichbaren URLs über Duplicate Content bis zu Schema-Markup-Fehlern. Seit 2010 im Markt, gilt Screaming Frog als De-facto-Standard für technische SEO-Audits.

Was ist Screaming Frog?

Screaming Frog SEO Spider ist eine Desktop-Software, die eine vollständige Website crawlt und das Ergebnis in einer strukturierten Datenmatrix ausgibt. Im Gegensatz zu Cloud-Suiten wie Sistrix oder Ahrefs läuft der Crawler lokal auf dem Rechner des Nutzers. Das hat Folgen: Die Crawl-Geschwindigkeit hängt von RAM und CPU ab, die Datenhoheit bleibt beim Anwender, und für große Websites braucht es entsprechend Hardware-Ausstattung.

Die Software simuliert einen Google-Bot und folgt Links rekursiv, bis jede erreichbare URL einer Domain oder eines Subpfads erfasst ist. Dabei speichert sie hunderte Datenpunkte pro URL: Statuscode, Indexierbarkeit, Meta-Tags, Überschriften-Hierarchie, Ladezeit, interne und externe Links, Hreflang-Annotationen, Canonical-Ziel, Schema-Markup und weitere technische Signale. Diese Daten lassen sich filtern, exportieren und gegen frühere Crawls vergleichen.

Das Unternehmen dahinter ist Screaming Frog Ltd, 2010 von Dan Sharp gegründet. Neben dem SEO Spider betreibt die Firma auch eine SEO- und PPC-Agentur und seit 2016 mit dem Log File Analyser ein zweites Produkt, das Server-Logfiles nach Googlebot-Aktivität auswertet.

Welche Prüfungen führt der Crawler durch?

Der SEO Spider gliedert Prüfungen in klar definierte Kategorien. Jede Kategorie adressiert eine eigene Frage: Sind alle URLs erreichbar? Sind Meta-Angaben unique und korrekt dimensioniert? Stimmen die Signale zur Indexierbarkeit? Die Gesamtzahl von über 300 Prüfungen deckt faktisch alle gängigen technischen SEO-Fehlertypen ab.

Prüfkategorie	Was wird erkannt
Response-Codes	404, 410, 500, 503, Timeouts und Blocked-by-robots-URLs
Weiterleitungen	Permanente und temporäre Redirects, Ketten, Schleifen, Mixed-HTTP/HTTPS-Flows
Page-Titles	Fehlend, doppelt, zu lang, zu kurz, Mehrfach-H1, Pixel-Breiten-Analyse
Meta-Descriptions	Fehlend, doppelt, über- oder unterlange Werte
Überschriften	Fehlende H1, Mehrfach-H1, leere Headings, Hierarchie-Brüche
Canonical-Tags	Fehlend, widersprüchlich, Self-Canonicals mit abweichender URL
Indexierbarkeit	noindex, robots.txt-Ausschluss, Canonical auf andere URL, Status non-200
Duplicate Content	Exakte Duplikate und Near-Duplicates über inhaltliche Ähnlichkeit
Hreflang	Fehlende Return-Links, falsche Sprach-Codes, Hreflang-Canonical-Konflikte
JavaScript-Rendering	Unterschiede zwischen HTML-Antwort und JS-gerendertem DOM
Strukturierte Daten	JSON-LD-, Microdata- und RDFa-Validierung gegen Google-Schemas
Core Web Vitals	LCP, INP, CLS über die PageSpeed-Insights-API
Bilder	Fehlende Alt-Texte, überdimensionierte Dateien, fehlende Dateigrößen-Komprimierung
Interne Verlinkung	Linktiefe, Crawl-Tiefe, Orphan-Pages, interne Broken Links
XML-Sitemap-Generierung	Automatische Erstellung aus dem Crawl mit konfigurierbaren Prioritäten

Ergänzend erlaubt die Custom-Extraction-Funktion, beliebige Daten aus dem HTML zu extrahieren, etwa Produktpreise, Autorennamen oder strukturierte Inhaltsbausteine. Drei Extraktionsmethoden stehen zur Verfügung: XPath, CSS-Selektoren und reguläre Ausdrücke. Damit lässt sich der Crawler in kurze Skripte zur individuellen Site-Analyse verwandeln.

Wie funktioniert das JavaScript-Rendering?

Der SEO Spider kann Websites in zwei Modi crawlen: als reiner HTML-Parser oder mit vollem Browser-Rendering. Der Rendering-Modus nutzt eine eingebettete Chromium-Engine und verarbeitet dadurch JavaScript-generierte Inhalte identisch zum Googlebot.

Dieser Unterschied ist für moderne Frontend-Frameworks entscheidend. Single-Page-Applications auf Basis von Angular, React, Vue.js oder Next.js liefern im initialen HTML oft nur ein leeres Grundgerüst, der eigentliche Content wird clientseitig nachgeladen. Ein reiner HTML-Crawler sieht hier praktisch keinen Text. Im Rendering-Modus wartet der Crawler auf das vollständig aufgebaute DOM und erfasst alle Inhalte, Links und Meta-Daten wie sie Google nach der Render-Phase sieht.

Der Rendering-Modus ist deutlich langsamer und ressourcenintensiver. Für große Sites empfiehlt sich ein zweistufiges Vorgehen: Erst ein HTML-Crawl zur schnellen Fehlersuche, anschließend gezieltes JS-Rendering der kritischen Seiten. Zusätzlich lässt sich per Configuration einstellen, wie lange der Crawler auf DOM-Stabilität wartet, welche Ressourcen blockiert werden und ob Mobile- oder Desktop-Viewport simuliert wird.

Welche Integrationen und KI-Features gibt es?

Der SEO Spider ist kein isoliertes Werkzeug, sondern lässt sich mit allen wichtigen SEO-Datenquellen kombinieren. Seit 2025 kommen erstmals KI-Integrationen dazu, die die Interpretation von Crawl-Daten während des Crawls ermöglichen.

Die wichtigsten API-Anbindungen:

• Google-Dienste: Anbindung an Googles kostenloses Webmaster-Dashboard, Google Analytics 4 und die PageSpeed Insights API. Dadurch reichern sich Crawl-Daten automatisch um Klicks, Impressionen, Sitzungen und Lighthouse-Werte an.
• Link-Datenbanken: Direkter Import von Backlink-Metriken aus externen Link-Datenbanken wie Ahrefs, Majestic und Moz. Pro URL lassen sich Linkbewertungen direkt neben technischen Kennzahlen anzeigen.
• AMP-Validierung: Prüfung von Accelerated Mobile Pages gegen die offiziellen AMP-Spezifikationen.
• Browser-Extensions: Chrome-Extension zum Testen einzelner Seiten direkt aus der Browser-Oberfläche.

Neu seit 2025 ist die Custom-AI-Prompt-Funktion. Während des Crawls können Nutzer eigene Prompts definieren, die pro URL gegen OpenAI, Gemini, Anthropic oder lokal laufende Ollama-Modelle geschickt werden. Beispiele: “Bewerte die Qualität der Einleitung”, “Extrahiere das Hauptkeyword aus der H1”, “Klassifiziere die Seite nach Funnel-Stage”. Die Antworten landen als Spalten direkt neben den technischen Crawl-Daten und machen Screaming Frog zu einem Brückenwerkzeug zwischen technischem Audit und KI-gestützter Content-Analyse.

Was kostet Screaming Frog?

Das Lizenzmodell ist klar zweigeteilt. Eine kostenlose Version deckt Einsteiger-Szenarien und Spot-Checks ab, die kostenpflichtige Version entfernt sämtliche Limits.

Version	Preis	Crawl-Limit	Features
Kostenlos	0 Euro	500 URLs pro Crawl	Basis-Features, keine strukturierten Daten-Validierung, keine Rechtschreibprüfung, keine APIs
Lizenz	199 £ pro Jahr (ca. 235 Euro)	Unbegrenzt	Vollständiger Feature-Umfang, alle Integrationen, technischer Support

Eine Lizenz gilt pro Nutzer und läuft zwölf Monate, danach ist eine Verlängerung erforderlich. Der Preis pro Jahr liegt damit deutlich unter den meisten Cloud-Alternativen, die für vergleichbare Crawl-Kapazität vierstellige Jahreskosten verlangen. Für Agenturen mit mehreren SEO-Mitarbeitern fällt der Pro-Kopf-Preis weiter, da keine Seats- oder Domain-Limits existieren.

Wie unterscheidet sich Screaming Frog von anderen SEO-Crawlern?

Der Crawler-Markt ist in zwei Lager geteilt: Desktop-Tools mit lokalem Crawling und Cloud-Plattformen mit gehosteten Crawlern. Beide Ansätze haben strukturelle Stärken und Schwächen, Screaming Frog ist der Referenzvertreter des Desktop-Lagers.

Tool	Typ	Stärke	Preis
Screaming Frog	Desktop (Windows, macOS, Linux)	Flexibilität, Custom Extraction, lokale Datenhoheit	199 £ pro Jahr
Sitebulb	Desktop	Visualisierungen, Empfehlungs-Engine, Einsteiger-freundlich	Ab 13,50 Dollar pro Monat (Lite)
OnCrawl	Cloud	Logfile-Integration, Enterprise-Scale, BigQuery-Export	Individuell ab ca. 69 Euro pro Monat
Lumar (ex DeepCrawl)	Cloud	Enterprise-Crawls mit Milliarden URLs, CI-Integration	Enterprise-Pricing
Botify	Cloud	KI-gestützte Priorisierung, sehr große Sites	Enterprise-Pricing
Sistrix Optimizer	Cloud-Modul	In die Sistrix Toolbox integrierter Crawler	Teil des Sistrix-Abos

Screaming Frog gewinnt, wenn volle Kontrolle über den Crawl-Prozess, beliebige Datenextraktionen und einmalige Lizenzkosten wichtig sind. Cloud-Crawler sind besser, sobald Milliarden URLs, kontinuierliche automatisierte Crawls oder Logfile-Integration im Terabyte-Bereich benötigt werden.

Warum ist Screaming Frog für SEO wichtig?

Der SEO Spider ist das Werkzeug der Wahl, wenn eine Website technisch untersucht werden muss. Drei Gründe machen ihn zum Standardwerkzeug in fast jeder SEO-Agentur und jeder erfahrenen Inhouse-Abteilung.

• Tiefe vor Breite: Cloud-Tools liefern Überblicke, Screaming Frog liefert die vollständige Datenmatrix einer Domain. Wer eine konkrete technische Frage hat, findet die Antwort direkt im Crawl-Ergebnis.
• Flexibilität über APIs und Extraktion: Mit Custom Extraction, JavaScript-Ausführung, Konfigurierbarkeit von User Agent, Rendering, Crawl-Regeln in robots.txt und Speed-Settings lässt sich der Crawler an nahezu jeden Site-Typ anpassen.
• Datenhoheit: Der Crawl läuft lokal. Sensible Daten, interne Seiten hinter Authentifizierung und nicht öffentliche Staging-Systeme verlassen den eigenen Rechner nicht. Das ist für DSGVO-kritische Branchen ein wesentliches Argument.

In der Praxis ist Screaming Frog häufig das erste Tool bei einem neuen Kundenprojekt. Ein 500-URL-Crawl identifiziert in 20 Minuten die offensichtlichen Problemstellen. Für vollständige Site-Audits folgt ein vollständiger Crawl, oft ergänzt um den Log File Analyser, die Search Console und ein Cloud-Sichtbarkeitstool. sagemedia kombiniert Screaming-Frog-Daten in der Organic-Ovation-Methode direkt mit Logfile-Analysen und dem Aufnahmestatus von URLs in den Suchergebnissen, um technische Ursachen von Ranking-Veränderungen in Stunden zu identifizieren.

Ist Screaming Frog kostenlos nutzbar?

Ja, in der Free-Version bis 500 URLs pro Crawl. Für kleine Websites, Spot-Checks und erste Erfahrungen reicht das aus. Wer größere Domains crawlen, strukturierte Daten validieren oder API-Integrationen nutzen will, benötigt eine Jahreslizenz.

Auf welchen Betriebssystemen läuft Screaming Frog?

Windows, macOS (Apple Silicon und Intel) sowie Linux (Ubuntu, Fedora). Eine reine Cloud- oder Browser-Version existiert nicht, der Crawler ist klassische Desktop-Software und benötigt lokale Installation.

Wie groß darf eine Website maximal sein?

Die Software selbst setzt kein hartes URL-Limit in der Lizenz-Version. In der Praxis bestimmen RAM und Festplatte die Obergrenze. Mit 32 GB RAM und aktiviertem Database-Storage-Modus sind mehrere Millionen URLs in einem Crawl möglich. Für Sites mit dutzenden oder hunderten Millionen URLs sind Cloud-Crawler die bessere Wahl.

Kann Screaming Frog JavaScript-Seiten crawlen?

Ja. Der integrierte Chromium-Renderer verarbeitet Single-Page-Applications und dynamisch geladene Inhalte identisch zum Googlebot. Der Modus ist langsamer und ressourcenintensiver, deckt aber React, Vue, Angular und vergleichbare Frameworks vollständig ab.

Was ist der Log File Analyser?

Der Log File Analyser ist das zweite Produkt von Screaming Frog, separat lizenziert. Er wertet Webserver-Logfiles aus und zeigt, welche URLs Googlebot und andere Crawler tatsächlich besucht haben, wie oft und mit welchem Statuscode. Kombiniert mit einem SEO-Spider-Crawl entsteht ein vollständiges Bild dessen, was Google sehen kann und was Google tatsächlich crawlt.