Künstliche Intelligenz

Screaming Frog KI nutzen: Prompts, Embeddings und semantische Ähnlichkeit Schritt für Schritt

Talha AslanTalha Aslan 18 Min. Lesezeit

Die Screaming Frog KI Funktionen haben den Crawler, den ich seit Jahren für technische Audits nutze, in ein Werkzeug für Inhaltsanalyse verwandelt. In diesem Leitfaden zeige ich, wie ich den SEO Spider mit KI Anbietern verbinde, welche Aufgaben wirklich Zeit sparen und wo Sie vorsichtig bleiben sollten. Alle Menünamen habe ich mit dem offiziellen Handbuch und den Versionshinweisen von Screaming Frog abgeglichen.

Was ist Screaming Frog KI und wofür nutzen Sie sie?

Screaming Frog KI bezeichnet die Fähigkeit des SEO Spider, sich per API mit Diensten wie OpenAI, Gemini, Anthropic und Ollama zu verbinden und Ihren eigenen Prompt auf jede gecrawlte Seite anzuwenden. So erstellen Sie Alt Texte, klassifizieren Suchintentionen, erkennen Sprachen und prüfen semantische Ähnlichkeit für tausende URLs in einem Crawl.

Ein klassischer Crawl liefert Strukturdaten: Titel, Meta Beschreibungen, Statuscodes und Canonicals. Die KI Ebene interpretiert dagegen, was eine Seite tatsächlich aussagt. Zum Beispiel kann sie markieren, ob eine Produktseite eher informiert oder zum Kauf führt. Anders gesagt: Strukturaudit und Inhaltsaudit landen endlich in derselben Tabelle.

Der praktische Nutzen ist groß. Früher habe ich Crawldaten exportiert, in einer separaten Tabelle durch ein KI Modell geschickt und die Antworten danach wieder den URLs zugeordnet. Das dauerte Stunden und erzeugte Zuordnungsfehler. Heute landen die Antworten direkt in der passenden URL Zeile, und Sie filtern sie zusammen mit allen anderen Spalten.

Alles in diesem Artikel gehört zu einem breiteren technischen SEO Rahmen. Die übergeordneten Prioritäten beschreibe ich in meinem Beitrag zum technischen SEO nach der KI Wende; hier konzentriere ich mich nur auf die praktische Arbeit in Screaming Frog.

Mit welcher Version kamen die KI Funktionen in Screaming Frog?

Die KI Unterstützung kam nicht in einem einzigen Release, sondern schrittweise. Zunächst konnten Sie ChatGPT über eigene JavaScript Snippets aufrufen. Danach folgte die direkte API Anbindung. Deshalb sehen ältere Anleitungen und die aktuellen Menüs oft sehr unterschiedlich aus.

  • Version 21.0 (November 2024): Laut den offiziellen Versionshinweisen brachte sie direkte Verbindungen zu OpenAI, Gemini und Ollama, das Menü "Config > API Access > AI", bis zu 100 eigene Prompts und einen neuen AI Tab.
  • Juni 2025, Version 22.0: Es kamen die Anbindung an Anthropic (Claude), eine semantische Ähnlichkeitsanalyse auf Basis von LLM Embeddings und das Content Cluster Diagram hinzu.
  • Version 24.0 (Mai 2026): Ein MCP Server erlaubt nun, den Crawler aus KI Assistenten wie Claude heraus zu steuern.

Kurz gesagt: Nutzen Sie eine Version vor 21, fehlen die meisten Menüs aus diesem Leitfaden. Aktualisieren Sie also zuerst.

Prüfen Sie nach dem Update außerdem Ihre gespeicherten Konfigurationsprofile. Neue Versionen verschieben manchmal eine Einstellung oder ändern einen Standardwert. Zum Beispiel können Sie ein altes ChatGPT Setup auf JavaScript Basis behalten, doch die direkte Anbindung erledigt dieselbe Aufgabe meist schneller. Testen Sie den Wechsel deshalb mit einem kleinen Crawl und vergleichen Sie beide Methoden direkt.

Brauchen Sie für Screaming Frog KI eine kostenpflichtige Lizenz?

Ja, in der Praxis schon. API Verbindungen und gespeicherte Konfigurationen funktionieren nur in der lizenzierten Version. Die kostenlose Version begrenzt jeden Crawl zudem auf 500 URLs. Daher brauchen Sie für ernsthafte KI Arbeit an einer echten Website eine Lizenz.

Allerdings ist die Lizenz nicht der einzige Kostenfaktor. Verbinden Sie OpenAI, Gemini oder Anthropic, zahlen Sie dem Anbieter zusätzlich Token für jede Anfrage. Ein ChatGPT Plus Abo deckt die API Nutzung nicht ab; Sie eröffnen ein separates API Konto und laden Guthaben auf. Ollama läuft dagegen auf Ihrem eigenen Rechner und erzeugt keine Tokenrechnung, braucht aber leistungsfähige Hardware.

Bei einem lokalen Modell verschieben sich die Kosten von Geld zu Zeit. Ein kleines Modell auf einem Laptop braucht pro Seite einige Sekunden, bei zehntausenden URLs summiert sich das auf Stunden. Deshalb wähle ich lokale Modelle meist für sensible Projekte und erste Tests. Bei großen öffentlichen Websites liefert ein Cloud Anbieter in der Regel mehr Tempo und Qualität.

Diese Aufteilung erkläre ich Kunden immer vorab. Denn ein langer Prompt für jede Seite einer Website mit 50.000 Seiten erzeugt schnell eine API Rechnung, die höher ausfällt als die Lizenz selbst.

Wie richten Sie die Screaming Frog KI Verbindung ein?

Die Einrichtung dauert nur wenige Minuten. Ich habe den Ablauf aus dem offiziellen Konfigurationshandbuch mit meiner eigenen Routine kombiniert.

  1. Eröffnen Sie beim Anbieter (OpenAI, Gemini oder Anthropic) ein API Konto, laden Sie Guthaben auf und erstellen Sie einen API Schlüssel.
  2. Öffnen Sie im SEO Spider Config > API Access > AI und wählen Sie den Anbieter.
  3. Fügen Sie den Schlüssel in die Kontoinformationen ein und bestätigen Sie die Verbindung mit "Connect".
  4. Nutzen Sie in der Prompt Konfiguration "Add from Library" für eine Vorlage oder schreiben Sie einen eigenen Prompt.
  5. Legen Sie fest, welchen Inhalt der Prompt nutzt (Seitentext, HTML oder Custom Extraction) und welches Modell antwortet.
  6. Testen Sie zuerst mit einem kleinen Crawl von 20 bis 50 URLs und öffnen Sie ihn danach für die ganze Website.

Außerdem empfehle ich, das Setup als Konfigurationsprofil zu speichern. So bauen Sie bei neuen Projekten nichts von Grund auf neu.

Der häufigste Fehler beim Einrichten ist ein API Konto ohne Guthaben. Ihr Schlüssel sieht korrekt aus, trotzdem schlagen die Anfragen fehl und der AI Tab bleibt leer. Ein zweites typisches Problem sind Ratenlimits: Neue API Konten erlauben oft nur wenige Anfragen pro Minute. Dann hilft es, die Crawlgeschwindigkeit zu senken oder beim Anbieter ein höheres Limit zu beantragen.

Welchen KI Anbieter sollten Sie wählen?

Der richtige Anbieter hängt von Budget, Datenschutzanforderungen und Aufgabe ab. Die Tabelle fasst meine eigenen Bewertungskriterien zusammen. Preise habe ich bewusst weggelassen, weil sich Modellpreise häufig ändern; prüfen Sie stattdessen die Preisseite des Anbieters.

AnbieterStärkeWorauf achtenPassende Aufgabe
OpenAIGroße Modellauswahl, Embeddings und BilderzeugungTokenkosten, Daten gehen an die APIAlt Texte, Klassifizierung, Embeddings
GeminiStark bei langen Inhalten, Embeddings verfügbarKontingente und regionale EinstellungenTextlastige Seiten, Zusammenfassungen
Anthropic (Claude)Hält sich eng an Anweisungen, konsistente TexteFür Embeddings eventuell ein zweiter Anbieter nötigEntwürfe für Meta Beschreibungen, Inhaltsprüfung
Ollama (lokal)Daten bleiben auf Ihrem Rechner, keine TokenrechnungBraucht Hardware, langsam bei großen WebsitesVertrauliche Projekte, Testcrawls

In der Praxis starte ich die meisten Projekte mit einem Cloud Anbieter. Bei Kunden, deren Verträge eine Datenweitergabe verbieten, ist ein lokales Modell über Ollama jedoch die bessere Wahl.

Die Modellwahl zählt genauso viel wie die Anbieterwahl. Ein kleines, schnelles Modell desselben Anbieters erledigt einfache Aufgaben wie Klassifizierung gut und kostet deutlich weniger. Für Entwürfe von Meta Beschreibungen, bei denen die Textqualität zählt, lohnt sich ein stärkeres Modell. Kurz gesagt: Mit einem eigenen Modell pro Prompt halten Sie das Budget im Gleichgewicht.

Was unterscheidet Custom JavaScript von der direkten KI Anbindung?

Beide Methoden erfüllen dieselbe Aufgabe, doch Einrichtung und Kosten unterscheiden sich. Der Weg über Custom JavaScript läuft unter Config > Custom > Custom JavaScript und nutzt die fertigen "(ChatGPT)" Snippets von Screaming Frog. Dafür müssen Sie unter Config > Spider > Rendering das JavaScript Rendering aktivieren.

Die direkte Anbindung kam mit Version 21 und macht Codeänderungen überflüssig. Laut Versionshinweisen braucht sie keinen JavaScript Rendering Modus, und die Daten kommen in jedem Crawlmodus zurück. Folglich laufen Crawls schneller und verbrauchen weniger Ressourcen.

Ist der JavaScript Weg also überholt? Nicht ganz. Wenn Sie mit der Seite so arbeiten müssen, wie der Browser sie aufbaut, etwa bei clientseitig geladenen Produktbeschreibungen, hilft ein Prompt auf dem gerenderten DOM weiterhin. Trotzdem ist die direkte Anbindung für Einsteiger der sicherere Start.

Egal welche Methode Sie wählen: Nutzen Sie nicht beide für dieselbe Aufgabe im selben Crawl. Sonst senden Sie pro Seite zwei API Anfragen und zahlen doppelt.

Wie nutzen Sie die Prompt Bibliothek (Add from Library)?

Die Schaltfläche "Add from Library" in der Prompt Konfiguration listet Beispielprompts von Screaming Frog auf. Die Hinweise zu Version 21 beschreiben sie als ein halbes Dutzend Prompts zur Inspiration; Alt Texte, Spracherkennung und das Extrahieren von Embeddings gehören dazu.

Ich nutze Vorlagen nie unverändert, sondern als Ausgangspunkt. Zum Beispiel ergänze ich beim Alt Text Prompt eine Sprachvorgabe, ein Zeichenlimit und die Regel, den Markennamen nicht zu wiederholen. So kommt die Ausgabe einer veröffentlichungsreifen Fassung nahe.

Zudem können Sie eigene Prompts in Ihrer Bibliothek speichern. Für Agenturen und Teams ist das sehr hilfreich: Alle arbeiten mit demselben freigegebenen Prompt, und die Ergebnisse bleiben projektübergreifend vergleichbar.

Ein guter Prompt hat bei mir vier Teile: Rolle, Aufgabe, Grenzen und Ausgabeformat. Etwa so: "Du bist E-Commerce Redakteur; beschreibe das Hauptprodukt der Seite in einem Satz; bleibe unter 120 Zeichen; gib nur reinen Text zurück." Vor allem das Ausgabeformat zählt, denn Sie filtern die Ergebnisse später in einer Tabelle. Antworten mit Begrüßung, Erklärung oder Aufzählungszeichen stören diese Filterung.

Wie erstellen Sie mit Screaming Frog KI Alt Texte in großer Zahl?

Nach meiner Erfahrung bringt die Erstellung von Alt Texten den schnellsten Nutzen. In großen Onlineshops haben tausende Bilder entweder leere Alt Attribute oder nur Dateinamen. KI schließt diese Lücke schnell auf Entwurfsniveau.

Der Ablauf sieht so aus: Zuerst filtern Sie Seiten mit fehlenden Alt Texten, danach wenden Sie einen Bildbeschreibungsprompt nur auf dieses Segment an. Seit Version 22 können Sie Prompts auf URLs beschränken, die zu einem bestimmten Segment passen. Dadurch verschwenden Sie keine Token für Seiten, die bereits Alt Texte haben.

  • Ergänzen Sie im Prompt Sprache, Länge (zum Beispiel unter 125 Zeichen) und die Regel "beschreibe, was auf dem Bild ist, ohne Werbesprache".
  • Lassen Sie Details wie Produktname und Farbe aus dem Seitentitel übernehmen.
  • Exportieren Sie die Ausgabe, lassen Sie sie redaktionell prüfen und laden Sie sie danach ins CMS.

Trotzdem betone ich: KI erkennt das Produkt auf einem Bild manchmal falsch. Deshalb rate ich davon ab, die menschliche Prüfung zu überspringen.

Denken Sie außerdem an den Zweck von Alt Texten. Sie dienen zuerst sehbehinderten Menschen und Screenreadern; der SEO Nutzen ist ein Nebeneffekt. Alt Texte voller Keywords schaden also sowohl der Barrierefreiheit als auch der Qualität. Darum ist die Zeile "beschreibe das Bild, schreibe keinen Werbetext" in Ihrem Prompt so wichtig.

Wie entwerfen Sie Meta Titel und Beschreibungen mit KI?

Fehlende, doppelte oder zu lange Meta Beschreibungen sind ein klassischer Befund in Screaming Frog. Mit KI melden Sie den Befund nicht nur, sondern erhalten im selben Crawl einen Korrekturentwurf.

Wählen Sie beim Prompt den Seitentext als Eingabe und binden Sie die Ausgabe an ein strenges Muster. Zum Beispiel: "Schreibe eine sachliche Beschreibung unter 155 Zeichen, die das Hauptthema der Seite im ersten Satz nennt." Prüfen Sie danach Länge und Keyword Passung. Die Keywordwahl überlasse ich nie dem Modell; ich gleiche sie mit dem Ziel aus einem Keyword Mapping ab.

Andererseits ist es riskant, diese Entwürfe massenhaft zu veröffentlichen. Google formuliert Meta Beschreibungen zudem häufig selbst aus dem Seiteninhalt um. Priorisieren Sie daher Seiten mit vielen Impressionen und niedriger Klickrate. Für einzelne Seiten können Sie zusätzlich den SEO Check nutzen.

Wie klassifizieren Sie Suchintention und Inhaltstyp?

Auf großen Websites ist es am schwierigsten zu sehen, welche Seite welche Suchintention bedient. Mit einem KI Prompt ordnen Sie jeder Seite ein festes Label zu, etwa "informativ", "Vergleich", "transaktional" oder "Marke".

Entscheidend ist, dem Modell keinen Raum für freie Antworten zu lassen. Nennen Sie im Prompt nur die erlaubten Labels und ergänzen Sie "gib nichts anderes zurück". So entsteht eine filterbare Spalte. Danach verbinden Sie diese Spalte mit URL Struktur, Traffic und Conversion Daten.

Hat eine Leistungskategorie zum Beispiel keine einzige transaktionale Seite, ist das eine klare Inhaltslücke. Bedienen fünf Blogartikel dieselbe Intention, deutet das auf Kannibalisierung hin. Solche Befunde behandeln Sie am besten zusammen mit Ihrem Kategorieplan; mehr dazu lesen Sie im Beitrag zur Kategoriestruktur für große Websites.

Die Klassifizierung eignet sich außerdem für Inhaltstypen. Mit Labels wie "Ratgeber", "Liste", "Produkt", "Kategorie" und "News" erhalten Sie den Inhaltsmix der gesamten Website. Diese Tabelle zeigt gut, welche Inhaltstypen Traffic und Anfragen bringen. Allerdings sollten Sie die Genauigkeit der Labels an einer kleinen Stichprobe prüfen, bevor sie in einen Bericht kommen.

Wie funktionieren Embeddings und die semantische Ähnlichkeitsanalyse?

Ein Embedding übersetzt die Bedeutung eines Textes in einen Zahlenvektor. Liegen die Vektoren zweier Seiten nah beieinander, behandeln beide dasselbe Thema, selbst wenn die Formulierungen abweichen. Screaming Frog hat diese Analyse mit Version 22 fest eingebaut.

Laut den offiziellen Hinweisen zu Version 22 läuft es so: Sie verbinden einen KI Anbieter, fügen den Embeddings Prompt aus der Bibliothek hinzu und aktivieren die Funktion unter Config > Content > Embeddings. Nach dem Crawl starten Sie die Crawl Analysis; sonst bleiben die Filter leer.

Die Ergebnisse sehen Sie im Content Tab. Der Filter "Semantically Similar" zeigt Seiten mit sehr ähnlicher Bedeutung, der Filter "Low Relevance Content" zeigt Seiten, die sich vom Hauptthema der Website entfernen. Zusammen verlagern diese Filter die Prüfung auf Duplicate Content vom Wortabgleich zum Bedeutungsabgleich.

Kurz gesagt beantworten Embeddings die Frage "Warum konkurrieren diese beiden Artikel um dieselbe Suchanfrage?" mit Daten.

Eine Warnung dazu: Die Qualität der Embeddings hängt davon ab, wie sauber der Eingabetext ist. Wiederholen sich Menü, Footer und Cookie Hinweis auf jeder Seite, wirken Seiten künstlich ähnlich. Deshalb verbessert eine saubere Definition des Inhaltsbereichs, also nur der Haupttext in der Analyse, die Verlässlichkeit deutlich.

Was zeigt das Content Cluster Diagram?

Das Content Cluster Diagram stellt Embedding Daten auf einer zweidimensionalen Karte dar. Sie öffnen es über Visualisations > Content Cluster Diagram. Inhaltlich nahe Seiten liegen auf der Karte nah beieinander, verschiedene Themen bilden eigene Cluster.

Diese Darstellung hilft mir sehr, wenn ich Kunden die Seitenarchitektur erkläre. Liegen Blogartikel etwa auf einer eigenen Insel, weit weg von den Leistungsseiten, wird der Bedarf an internen Links sofort sichtbar. Einzelne Punkte außerhalb der Cluster sind zudem oft alte Kampagnenseiten oder themenfremde Inhalte.

Nutzen Sie das Diagramm als Entscheidungswerkzeug. Listen Sie sehr nahe Seiten als Kandidaten für eine Zusammenlegung und weit entfernte Seiten als Kandidaten für Löschung oder Neuausrichtung. Danach stärken Sie die Verbindungen zwischen den Clustern mit einer Strategie für interne Verlinkung.

Wie finden Sie mit Screaming Frog KI doppelte und kannibalisierende Inhalte?

Die klassische Methode stützt sich auf Textähnlichkeitsfilter wie "Near Duplicates". Sie erkennt nahezu identische Sätze, übersieht aber Seiten, die dasselbe Thema mit anderen Worten behandeln. Genau diese Lücke schließt die Embedding Analyse von Screaming Frog KI.

In meinen Audits gehe ich in dieser Reihenfolge vor:

  1. Ich exportiere die Paare mit den höchsten Ähnlichkeitswerten aus dem Filter Semantically Similar.
  2. Für jedes Paar prüfe ich in der Search Console, ob beide URLs für dieselben Suchanfragen Impressionen erhalten.
  3. Paare, die um dieselbe Anfrage konkurrieren, lege ich zusammen und leite per 301 auf die stärkere URL um.
  4. Paare mit unterschiedlicher Intention trenne ich klarer und schärfe Titel und Einleitungen.

Beachten Sie: Hohe Ähnlichkeit allein ist kein Problem. Zwei Farbvarianten desselben Produkts ähneln sich natürlich. Treffen Sie die Entscheidung also auf Basis von Suchdaten, nicht auf Basis des Wertes.

Passen Sie nach einer Zusammenlegung auch die internen Links an. Seiten, die auf die alte URL verlinken, sollten Nutzer nicht durch eine Weiterleitungskette schicken; lassen Sie diese Links direkt auf die neue Zielseite zeigen. Prüfen Sie dann im nächsten Crawl, ob das Paar verschwunden ist. So belegen Sie mit Daten, dass die Korrektur gewirkt hat.

Wie kombinieren Sie Custom Extraction mit KI?

Laut den Hinweisen zu Version 21 kann ein Prompt Seitentext, HTML oder eine Custom Extraction als Eingabe nutzen. Custom Extraction ist aus meiner Sicht die am wenigsten bekannte und zugleich effizienteste Option. Denn Sie schicken dem Modell nur den Teil, den es braucht, statt der ganzen Seite.

Zum Beispiel ziehen Sie per XPath nur das Feld der Produktbeschreibung und fragen das Modell: "Enthält diese Beschreibung Angaben zu Material, Größe und Nutzung?" Dadurch sinken die Tokenkosten und die Antwort wird präziser. Störfaktoren wie Menü, Footer und Seitenleiste erreichen das Modell gar nicht.

Auf dieselbe Weise prüfen Sie strukturierte Daten. Extrahieren Sie den JSON LD Block jeder Seite, fragen Sie das Modell nach fehlenden Eigenschaften und bereiten Sie die Korrektur dann mit dem Schema Generator vor. Das letzte Wort bei der Validierung hat trotzdem das Testtool von Google.

Ein weiterer Vorteil der Custom Extraction ist Konsistenz. Schicken Sie die ganze Seite, hält das Modell manchmal einen Kampagnenhinweis im Menü für den Hauptinhalt. Mit nur dem Zielbereich verschwindet diese Verwechslung. Beispielsweise extrahieren Sie den SEO Text auf Kategorieseiten und fragen: "Passt dieser Text zur Kategorie, oder ist er allgemeiner Fülltext?"

Wie behalten Sie bei Screaming Frog KI die Kosten im Griff?

Der Schlüssel zur Kostenkontrolle liegt darin, an wie viele URLs Sie den Prompt senden und wie viel Text Sie mitschicken. Tokenkosten fallen für Eingabe und Antwort an. Folglich treiben lange Seiten und lange Antworten die Rechnung schnell nach oben.

  • Wenden Sie Prompts nur auf indexierbare HTML Seiten mit Status 200 an.
  • Zielen Sie per Segmentfilter nur auf den relevanten Bereich, zum Beispiel einen Ordner /produkt/.
  • Senden Sie per Custom Extraction nur das nötige Feld statt der ganzen Seite.
  • Verlangen Sie kurze Antworten mit festem Format, etwa "ein Wort" oder "höchstens 150 Zeichen".
  • Legen Sie im Dashboard des Anbieters ein monatliches Ausgabenlimit fest.
  • Senken Sie die Crawlgeschwindigkeit unter Config > Speed, damit Sie keine API Ratenlimits erreichen.

Mit diesen Schritten führen Sie dieselbe Analyse zu deutlich geringeren Kosten durch. Zudem messen Sie mit einem kleinen Testcrawl den durchschnittlichen Tokenverbrauch pro Seite und schätzen so das Budget für die ganze Website.

Worauf sollten Sie beim Datenschutz achten?

Verbinden Sie einen Cloud Anbieter, gelangt der Seiteninhalt auf dessen Server. Bei einer öffentlichen Website ist das meist unproblematisch. Anders sieht es aus, wenn Sie passwortgeschützte Bereiche, Staging Umgebungen oder Kundenportale crawlen.

Deshalb folge ich drei Regeln. Erstens lasse ich KI Prompts nie auf Bereichen hinter einem Login laufen. Zweitens schließe ich Seiten mit möglichen personenbezogenen Daten, etwa Bestellungen, Konten und Formularergebnisse, vom Crawl aus. Drittens wechsle ich bei Kunden mit vertraglich eingeschränkter Datenweitergabe auf ein lokales Modell wie Ollama.

Lesen Sie außerdem die API Datenrichtlinie des Anbieters. Bedingungen wie die Frage, ob Ihre Daten ins Modelltraining einfließen dürfen, können sich bei Geschäftskonten unterscheiden. Starten Sie also keinen großen Crawl, bevor Sie wissen, wohin Ihre API Daten gehen und wie lange der Anbieter sie speichert. Die DSGVO Pflichten Ihres Unternehmens gelten dabei selbstverständlich weiter.

Die Sicherheit des API Schlüssels ist ein eigenes Thema. Teilen Sie Schlüssel nicht in Teamchats; geben Sie jeder Person einen eigenen Schlüssel oder nutzen Sie projektbezogene Schlüssel des Anbieters. Widerrufen Sie einen Schlüssel sofort, wenn jemand das Team verlässt oder er nach außen gelangt. Prüfen Sie außerdem beim Teilen eines Konfigurationsprofils, dass kein Schlüssel darin steckt.

Wie verändert der MCP Server die Arbeit mit Screaming Frog?

Der MCP Server aus Version 24 kehrt die Richtung um. Der Crawler ruft nicht mehr nur KI auf; ein KI Assistent kann nun auch den Crawler steuern. Laut den offiziellen Hinweisen zu Version 24 starten Sie Crawls, analysieren Daten und exportieren sie direkt aus Assistenten wie Claude und LM Studio.

Sie können dem Assistenten zum Beispiel sagen: "Crawle die Website, liste Seiten mit Status 404, die noch interne Links erhalten, und fasse das Ergebnis zusammen." So laufen wiederkehrende Berichte in natürlicher Sprache. Allerdings betont das Team von Screaming Frog klar, dass dies keinen erfahrenen SEO Profi ersetzt und noch nicht jede Funktion verfügbar ist.

Meine Sicht geht in dieselbe Richtung. MCP beschleunigt Routinearbeit, doch Befunde priorisieren, mit Geschäftszielen verknüpfen und die richtigen Tickets für Entwickler schreiben bleibt menschliche Arbeit.

Möchten Sie MCP testen, beginnen Sie mit einer kleinen Website. Verfolgen Sie Schritt für Schritt, welchen Befehl der Assistent ausführt und welche Daten er exportiert. Vergleichen Sie danach die Ergebnisse mit einem manuell erstellten Bericht. So erkennen Sie, wo der Assistent stark ist und welche Punkte Sie weiter selbst prüfen müssen. Dieser Pilot bildet zudem eine gute Basis für eine interne Nutzungsrichtlinie.

Wie sehr sollten Sie den Ergebnissen von Screaming Frog KI vertrauen?

Eine KI Ausgabe ist ein Entwurf, keine Entscheidung. Modelle erfinden manchmal Informationen, die gar nicht auf der Seite stehen, oder antworten außerhalb der erlaubten Labels. Aus diesem Grund prüfe ich bei jedem Projekt einen Teil der Ausgaben von Hand.

Eine praktische Regel: Kontrollieren Sie nach dem ersten Crawl 30 bis 50 zufällige Zeilen. Ist die Fehlerquote hoch, grenzen Sie den Prompt ein, ergänzen Beispiele oder wechseln zu einem stärkeren Modell. Dann testen Sie erneut. Bedenken Sie zudem, dass derselbe Prompt an verschiedenen Tagen leicht abweichende Ergebnisse liefern kann.

Ein oder zwei Beispielantworten im Prompt erhöhen die Konsistenz. Zeigen Sie dem Modell, wie eine korrekte Ausgabe aussieht, sinken Formatfehler spürbar. Außerdem macht ein niedrigerer Temperature Wert, sofern der Anbieter ihn anbietet, die Ausgabe berechenbarer.

Nutzen Sie KI auch bei der Bewertung der Inhaltsqualität nur als Assistenz. Expertise, Erfahrung und Vertrauenssignale von einem Modell bewerten zu lassen, ist ein interessanter Anfang, doch das letzte Urteil gehört der Redaktion. Den Rahmen hinter diesen Kriterien finden Sie in meinem Leitfaden zu EEAT und Vertrauen.

Wie machen Sie aus einem Screaming Frog KI Audit einen festen Ablauf?

Ein einzelner Crawl liefert spannende Ergebnisse, doch der eigentliche Wert entsteht durch einen regelmäßigen Ablauf. Mein Team und ich arbeiten grob so: ein geplanter monatlicher Crawl, derselbe Promptsatz, ein Vergleichsbericht und eine Prioritätenliste.

Zuerst speichern wir das Setup als Profil. Danach läuft jeden Monat ein geplanter Crawl mit denselben Einstellungen. Anschließend vergleichen wir den AI Tab mit dem Vormonat und listen neu fehlende Alt Texte, neue Kannibalisierung und themenfremde Inhalte auf.

Schließlich geben wir die Befunde als getrennte Aufgaben an Entwicklung und Redaktion weiter. Bei Relaunches und Migrationen wird dieser Vergleich noch wertvoller; die Schritte für diese Phase habe ich in meiner SEO Checkliste für die Website Migration gesammelt. Möchten Sie ein solches Audit für Ihre eigene Website aufsetzen, planen mein Team und ich es gern im Rahmen unserer SEO Beratung mit Ihnen.

Häufig gestellte Fragen

Funktioniert Screaming Frog KI in der kostenlosen Version?
In der Praxis nicht. API Verbindungen funktionieren nur in der lizenzierten Version, und die kostenlose Version begrenzt jeden Crawl auf 500 URLs. Nutzen Sie OpenAI, Gemini oder Anthropic, zahlen Sie dem Anbieter außerdem Token. Ollama läuft lokal ohne Tokenrechnung, doch Sie brauchen trotzdem einen lizenzierten SEO Spider und einen leistungsfähigen Rechner.
Reicht mein ChatGPT Plus Abo für Screaming Frog?
Nein. ChatGPT Plus ist ein Abo für die Chatoberfläche und enthält keine API Nutzung. Für die Verbindung mit Screaming Frog brauchen Sie ein separates API Konto auf der OpenAI Plattform, Guthaben und einen API Schlüssel. Ich empfehle zudem Nutzungslimits im Dashboard des Anbieters, damit ein großer Crawl keine überraschende Rechnung erzeugt.
Muss für KI Prompts das JavaScript Rendering aktiv sein?
Für die direkte KI Anbindung nicht. Laut den Hinweisen zu Version 21 liefert sie in jedem Crawlmodus Daten. Nur die ältere Methode mit Custom JavaScript und ChatGPT Snippets verlangt JavaScript Rendering unter Config, Spider, Rendering. Dieser Modus verlangsamt Crawls und braucht mehr Speicher, deshalb bevorzuge ich bei neuen Setups die direkte Anbindung.
Welchen Anbieter sollte ich für Embeddings nutzen?
Wählen Sie einen Anbieter mit Embedding Modell; OpenAI und Gemini bieten das an, und über Ollama können Sie ein lokales Embedding Modell betreiben. Am wichtigsten ist, im gesamten Crawl dasselbe Modell zu verwenden. Vektoren verschiedener Modelle sind nicht vergleichbar, halten Sie das Modell für Monatsberichte also fest und crawlen Sie nach einem Wechsel neu.
Warum ist der Filter Semantically Similar leer?
Meist fehlt die Crawl Analysis. Nachdem Sie Embeddings unter Config, Content, Embeddings aktiviert haben und der Crawl beendet ist, müssen Sie die Crawl Analysis starten. Prüfen Sie außerdem, ob die API Verbindung steht und der Embeddings Prompt in Ihrer Promptliste liegt. Fehlendes Guthaben oder Ratenlimits können die Filter ebenfalls leer lassen.
Ersetzt Screaming Frog KI einen SEO Experten?
Nein. Das Werkzeug klassifiziert Daten schnell und liefert Entwürfe, entscheidet aber nicht, welcher Befund für Ihre Geschäftsziele zählt. Das Team von Screaming Frog sagt dasselbe über seinen MCP Server. Die besten Ergebnisse entstehen, wenn Sie das Tempo der KI mit der Priorisierung durch einen erfahrenen Experten verbinden, der Ihre Website kennt.
#Screaming Frog#SEO Spider#KI#technisches SEO#Embeddings#semantische Ähnlichkeit#Alt Text#SEO Audit
Teilen:
Talha Aslan
Talha Aslan

Google Partner und Experte für digitales Marketing. Seit 2012 praktisch in SEO, Google Ads, Webdesign und E-Commerce Projekten; jeder Beitrag hier stammt aus dieser Erfahrung.

Nächstes Projekt

Sprechen wir über Ihr Projekt.

Ihre Anfrage geht direkt an Talha Aslan und Team: Strategie von Talha, Umsetzung durch ein erfahrenes Team. Das Erstgespräch ist kostenlos, wir hören zu und melden uns mit einer klaren Roadmap.

WhatsApp Jetzt anrufen