Indexiert, obwohl durch robots.txt blockiert: So beheben Sie es

In der englischen Oberfläche der Search Console heißt der Status "Indexed, though blocked by robots.txt"; die deutsche Oberfläche zeigt eine entsprechende Meldung. Die Hilfeseite zum Bericht zur Seitenindexierung sagt es deutlich: Google hält sich immer an die robots.txt, allerdings verhindert das nicht zwingend die Indexierung. Kurz gesagt sind Crawlsperre und Indexsperre zwei verschiedene Dinge.

Kein Grund zur Panik, denn diese Warnung ist keine Strafe. Sie bringt den Rest Ihrer Website nicht allein zu Fall. Trotzdem schaden URLs ohne Beschreibung in den Ergebnissen dem Vertrauen und binden Crawlaufmerksamkeit. Deshalb lohnt es sich, das Problem ruhig und systematisch anzugehen.

Was sollten Sie in den ersten zehn Minuten tun?

Zunächst gilt: Ein schneller erster Durchgang erleichtert alle weiteren Schritte. Folgen Sie dieser Reihenfolge, dann erkennen Sie das Muster rasch.

1. Öffnen Sie den Bericht zur Seitenindexierung und exportieren Sie die Beispiel URLs der Warnung.
2. Gruppieren Sie die URLs: Parameter, interne Suche, Warenkorb und Konto, alte Bereiche.
3. Stellen Sie pro Gruppe eine Frage: Soll diese Seite bei Google erscheinen?
4. Suchen Sie die Disallow Zeile in der robots.txt, die zu jeder Gruppe passt.
5. Teilen Sie die Gruppen in zwei Listen: Seiten mit Rankingziel und Seiten ohne.

Notieren Sie außerdem die Herkunft jeder URL: Menü, Produktkarte, Sitemap oder externer Link. Diese Notiz führt Sie zur Vorlage, die die URL erzeugt, und nicht nur zur Regel, die sie sperrt.

Diese Aufteilung ist die halbe Arbeit, denn beide Listen brauchen gegensätzliche Lösungen. Bei der einen heben Sie die Sperre auf. Bei der anderen heben Sie die Sperre auf und setzen noindex. Wie Sie robots.txt Regeln schnell lesen, zeigt unser Leitfaden zum robots.txt Bericht der Search Console.

Warum indexiert Google eine Seite, die es nicht crawlen darf?

Zunächst lernt Google eine URL nicht nur durch das Lesen ihres Inhalts kennen. Links auf anderen Seiten, Ankertexte und Sitemap Einträge signalisieren ebenfalls, dass die Adresse existiert. Die Einführung in robots.txt erklärt das klar: Verweisen andere Seiten mit beschreibendem Text auf eine URL, kann Google sie indexieren, ohne die Seite zu besuchen.

Zum Beispiel erhält eine Filter URL Hunderte interne Links. Dann hält Google sie womöglich für wichtig. Die robots.txt sagt dagegen nur: nicht eintreten. Google bleibt also vor der Tür stehen, kennt die Tür aber und notiert die Adresse.

Folglich zeigt das Suchergebnis meist keine Beschreibung oder nur ein sehr knappes Snippet. Auch die Hilfeseite sagt, dass Snippets solcher Seiten wahrscheinlich sehr begrenzt ausfallen. Anders gesagt: Nutzer erkennen am Ergebnis nicht, was die Seite bietet.

Was unterscheidet robots.txt von noindex?

Beide beantworten also unterschiedliche Fragen. Die robots.txt beantwortet: Darfst du diese URL crawlen? Noindex beantwortet: Darfst du diese Seite im Index behalten? Genau hier beginnt die Verwirrung.

In der Praxis hilft ein Bild: Die robots.txt ist ein Verkehrsschild, noindex ist ein Löschauftrag. Das Schild stoppt den Googlebot auf der Straße; allerdings löscht es die Adresse nicht von der Karte. Der Löschauftrag wirkt erst, wenn der Googlebot die Seite erreicht und liest.

Unser Vergleich von noindex, nofollow und robots.txt erklärt die Unterschiede ausführlich. Hier konzentrieren wir uns nur auf die Lösung dieser Warnung.

Warum funktionieren robots.txt Sperre und noindex nicht zusammen?

Diesen Punkt übersehen die meisten, deshalb lohnt ein genauer Blick. Laut Googles Anleitung zum Blockieren der Indexierung mit noindex darf die Seite für eine wirksame noindex Regel nicht per robots.txt gesperrt sein. Kann der Googlebot die Seite nicht crawlen, sieht er die noindex Regel nie.

Viele Websitebetreiber denken: Ich sperre die Seite und setze noindex, dann bin ich doppelt sicher. Das Ergebnis ist allerdings das Gegenteil. Die Crawlsperre versteckt das noindex Tag, und die URL bleibt im Index. Deshalb steht die Warnung oft monatelang im Bericht.

Die richtige Reihenfolge ist einfach. Zuerst setzen Sie noindex. Danach entfernen Sie die Sperre in der robots.txt. Anschließend warten Sie, bis Google die Seite erneut crawlt. Auch nachdem die Seite aus dem Index fällt, setzen Sie die Sperre nicht sofort zurück; sonst können neue Links die URL wieder auf die Liste bringen.

Soll die Seite in der Suche erscheinen oder nicht?

Diese eine Frage entscheidet über die Lösung. Prüfen Sie daher jede URL Gruppe anhand dieser Punkte.

• Hat ein Nutzer einen Nutzen, wenn er diese Seite bei Google findet?
• Bietet die Seite eigenen Inhalt, den keine andere URL hat?
• Ist sie Kerninhalt wie Produkt, Leistung, Kategorie oder Blogartikel?
• Oder ist sie eine technische URL wie Warenkorb, Login, interne Suche, Sortierung oder Sitzungsparameter?

Kernseiten sollten erscheinen, technische URLs meist nicht. Dennoch gibt es Grauzonen. Entspricht etwa eine Filterkombination einer echten Suchanfrage, ist eine eigene, dauerhafte und indexierbare Kategorieseite oft sinnvoller. Filter URLs behandeln wir in unserem Leitfaden zur Facettennavigation.

Wie beheben Sie indexiert, obwohl durch robots.txt blockiert bei einer wichtigen Seite?

Haben Sie eine Kernseite versehentlich durch robots.txt gesperrt, ist die Lösung einfach: Sie heben die Sperre auf. Trotzdem erzeugt jede Änderung ohne genaue Ursachenanalyse schnell neue Fehler.

1. Finden Sie die Disallow Zeile und das passende Muster.
2. Engen Sie die Regel ein oder ergänzen Sie eine Allow Zeile für die Kernseite.
3. Öffnen Sie nach der Veröffentlichung die live geschaltete robots.txt im Browser.
4. Testen Sie eine Beispiel URL mit dem Tool zur URL Prüfung und bestätigen Sie, dass Google crawlen darf.
5. Starten Sie im Bericht die Validierung der Korrektur.

Platzhalter stellen hier oft Fallen. Eine Regel mit Stern oder Dollarzeichen sperrt schnell einen viel größeren Bereich als gedacht. Wie diese Muster greifen, zeigt unser Leitfaden zu robots.txt Platzhaltern mit Beispielen.

Was ist die richtige Lösung für Seiten, die nicht in die Suche gehören?

Konkret gehen Sie hier einen unerwarteten Schritt: Sie heben die Sperre auf. Genau das empfiehlt die Hilfeseite von Google. Die robots.txt ist nicht der richtige Mechanismus gegen Indexierung; stattdessen entfernen Sie die Sperre und nutzen noindex.

1. Ergänzen Sie das noindex Meta Tag in der Seitenvorlage.
2. Bei Dateien ohne HTML, etwa PDFs, senden Sie dieselbe Regel per X-Robots-Tag im Antwortheader.
3. Entfernen Sie die Zeile in der robots.txt, die diese Gruppe sperrt.
4. Prüfen Sie mit der URL Prüfung, dass Google die noindex Regel sieht.
5. Beobachten Sie, wie die Zahl der Warnungen sinkt.

In dieser Phase wechseln die URLs im Bericht in den noindex Status. Das ist kein Fehler, sondern das gewünschte Ergebnis. Wie Sie diesen Status lesen, erklären wir im Beitrag durch noindex Tag ausgeschlossen. Möchten Sie diese Umstellung fehlerfrei planen, Vorlagen sauber trennen und den Verlauf wöchentlich verfolgen, fordern Sie ein Angebot für unsere SEO Beratung an. Wir übernehmen die Umsetzung und berichten über den Fortschritt.

Woher kommen die unerwünschten URLs?

Allerdings ist die eigentliche Ursache selten die robots.txt selbst. Meist erzeugt die Seitenstruktur diese URLs. Entsteht eine URL nie oder verlinkt sie niemand, entdeckt Google sie auch nicht. Somit ist die Quelle der Schlüssel zu einer dauerhaften Lösung.

• Filter und Sortierparameter: Farbe, Größe, Preisspanne und ihre Kombinationen.
• Seiten der internen Suche aus dem Suchfeld der Website.
• Warenkorblinks, wie sie viele E-Commerce Themes erzeugen.
• Sitzungs, Tracking und Kampagnenparameter mit endlosen Kopien.
• Alte Bereiche, die Sie geschlossen haben, auf die Menü oder Inhalt aber noch verlinken.
• Externe und Spamlinks auf zufällige URLs außerhalb Ihrer Kontrolle.

So landen etwa bei WooCommerce bekanntermaßen add-to-cart Adressen im Index; unser Beitrag zu WooCommerce Warenkorb URLs im Index untersucht diese Quelle genauer.

Wie verstärken interne Links das Problem?

Google entdeckt URLs größtenteils über Links. Verlinkt also jede Seite Ihrer Website auf eine gesperrte URL, sagen Sie Google damit: Diese URL ist wichtig. Genau so entstehen die meisten Fälle von indexiert, obwohl durch robots.txt blockiert.

Beispielszenario: Ein Shop unter example.com setzt auf jede Produktkarte einen Link mit Sortierparameter. Der Administrator sperrt diesen Parameter in der robots.txt. Die Links bleiben aber in der Vorlage, also zeigen Tausende Seiten auf dieselbe URL. Google nimmt die URL daraufhin ungecrawlt in den Index auf, und die Zahl der Warnungen steigt.

Deshalb reicht ein Blick in die robots.txt nicht aus. Entfernen Sie überflüssige Links aus Vorlagen, bieten Sie Filter über Formulare oder eine feste Kategoriestruktur an und begrenzen Sie Parameterlinks. So kappen Sie die Quelle der Warnung. Zudem bleibt mehr Crawlaufmerksamkeit für Ihre Kernseiten.

Kann die Sitemap die Meldung durch robots.txt blockiert auslösen?

Ja, das kann sie. Eine Sitemap sagt Google: Diese URLs sind wichtig, bitte crawlen. Die robots.txt sagt für dieselben URLs: nicht eintreten. Dieser Widerspruch nährt die Warnung direkt.

Ihre Sitemap sollte daher nur URLs enthalten, die Sie im Index sehen wollen, die crawlbar sind und den Statuscode 200 liefern. Entfernen Sie gesperrte URLs aus der Sitemap. Prüfen Sie außerdem, ob Sitemap Plugins automatisch Schlagwort, Autoren oder Anhangseiten aufnehmen.

Wollen Sie Ihre Sitemap sauber neu aufbauen, nutzen Sie unseren XML Sitemap Generator. So erhalten Sie eine Liste, die nicht mit Ihren robots.txt Regeln kollidiert.

Welche Fehler sollten Sie bei der Korrektur vermeiden?

Vor allem hastige Korrekturen schaffen oft ein neues Problem. Die folgenden Fehler sehen wir in der Praxis am häufigsten.

• Sperre und noindex gleichzeitig behalten, sodass Google das Tag nicht sieht.
• Die ganze robots.txt löschen, sodass Tausende unerwünschte URLs auf einmal ins Crawling geraten.
• Canonical statt noindex nutzen, obwohl ein Canonical nur ein Hinweis und kein Indexverbot ist.
• Breite Platzhalterregeln schreiben, die auch Kernseiten treffen.
• Die Sperre direkt nach der Änderung zurücksetzen und den Prozess abbrechen.

Die meisten dieser Fehler entstehen beim Schreiben der Datei. Eine längere Liste finden Sie in unserem Beitrag zu häufigen robots.txt Fehlern. Was ein Canonical leisten kann und was nicht, erklärt unser Leitfaden zum Canonical Tag.

Wann hilft das Tool zum Entfernen?

Das Tool zum Entfernen in der Search Console ist zunächst eine vorübergehende Lösung. Es blendet eine URL eine Zeit lang aus den Ergebnissen aus, setzt aber keine dauerhafte Indexregel. Daher löst es diese Warnung nicht allein.

Taucht eine private oder sensible Seite versehentlich in den Ergebnissen auf, nutzen Sie das Tool als Notbremse. Gleichzeitig brauchen Sie eine dauerhafte Lösung: noindex, Passwortschutz oder die Entfernung der Seite. Auch Googles Dokumentation zur robots.txt empfiehlt noindex oder Passwortschutz, um eine Seite aus der Suche fernzuhalten.

Bedenken Sie zudem: Läuft eine vorübergehende Entfernung ab, kann die URL ohne dauerhafte Regel zurückkehren. Setzen Sie deshalb noindex oder Passwortschutz am selben Tag und tragen Sie das Datum in Ihren Kalender ein.

Für wirklich private Inhalte ist Passwortschutz der sicherste Weg. Die robots.txt ist schließlich öffentlich. Die Pfade darin verraten womöglich genau die Bereiche, die Sie verbergen möchten.

Wie validieren Sie die Korrektur in der Search Console?

Erklären Sie die Arbeit also nicht für erledigt, bevor Sie das Ergebnis messen. Die Validierung zeigt, dass Sie und Google jetzt dasselbe sehen.

1. Führen Sie in der URL Prüfung einen Live Test für eine Beispiel URL aus.
2. Bestätigen Sie, dass Google crawlen darf und die erwartete Regel sieht.
3. Öffnen Sie die Warnung im Bericht zur Seitenindexierung.
4. Starten Sie die Validierung der Korrektur.
5. Vergleichen Sie in den Folgewochen die Zahl der Warnungen mit der Zahl der noindex URLs.

Scheitert die Validierung, bleiben Sie ruhig. Meist tragen dann einige URLs noch die alte Regel, oder eine zwischengespeicherte alte robots.txt ist noch aktiv. Testen Sie Beispiel URLs einzeln, finden Sie die verbleibende Gruppe, korrigieren Sie sie und starten Sie die Validierung erneut.

Die Dauer hängt von Größe und Crawlhäufigkeit Ihrer Website ab. Google nennt keine feste Frist. Seien Sie also geduldig und nehmen Sie am selben Tag keine zweite große Änderung vor; sonst erkennen Sie nicht, welcher Schritt gewirkt hat.

Warum sinkt die Zahl der Warnungen nicht sofort?

Zunächst crawlt Google URLs nach eigenem Zeitplan erneut, auch wenn sie zuvor durch robots.txt gesperrt waren. Auch nach Aufhebung der Sperre besucht der Googlebot nicht jede URL am selben Tag. Bei selten besuchten Seiten dauert es länger.

Bestehen die Links weiter, entdeckt Google außerdem neue URLs. Alte URLs fallen also aus dem Bericht, während neue hinzukommen. Daher führt es in die Irre, nur die Zahl zu beobachten, ohne die Quelle zu kappen.

Warum die Crawlhäufigkeit sinkt, erklärt unser Leitfaden zum Crawl Budget. Er zeigt auch, welche Websites sich darum kümmern sollten. Bei kleinen Websites liegt das Problem meist in der URL Ordnung, nicht in der Crawlkapazität.

Schadet indexiert, obwohl durch robots.txt blockiert Ihren Rankings?

Eine direkte Strafe ist es nicht. Allerdings kann es indirekte Folgen haben. Ergebnisse ohne Beschreibung schaffen kein Vertrauen. Tausende überflüssige URLs verwässern zudem das Bild Ihrer Website im Index und bremsen die Entdeckung von Kernseiten.

Erscheinen etwa Parameterkopien statt Ihrer Produktseiten für eine Suchanfrage, landen Nutzer auf einem dünnen oder unpassenden Ergebnis. Das senkt womöglich die Klickrate. Deshalb raten wir, die Quelle zu beheben, statt die Warnung abzutun.

Dieses Muster heißt auch Index Bloat und tritt auf großen Websites häufig auf; mehr dazu in unserem Leitfaden zu Index Bloat. Keine Korrektur garantiert ein bestimmtes Ranking. Ziel ist ein sauberes, stimmiges Signal an Google.

Welche URLs im Bericht müssen Sie nicht beunruhigen?

Manche URLs in der Warnung verdienen keine Sorge. Spamseiten verlinken womöglich auf URLs Ihrer Domain, die nie existiert haben. Diese liegen außerhalb Ihrer Kontrolle. Dann genügt es, wenn diese URLs 404 oder 410 liefern. Alle auf die Startseite umzuleiten wirkt verlockend, ist aber nicht der richtige Weg; unser Schwesterbeitrag 404 Seiten auf die Startseite weiterleiten beantwortet diese Frage.

Lesen Sie zudem die übrigen Status im Bericht zur Seitenindexierung gemeinsam. Für einen vollständigen Überblick nutzen Sie unsere Anleitung zum Finden nicht indexierter Seiten.

Wie schreiben Sie Ihre robots.txt sicher neu?

Müssen Sie die Datei überarbeiten, dann gehen Sie in kleinen Schritten vor. Notieren Sie, warum jede Zeile existiert. So wissen Sie später immer, welche Regel welchem Zweck dient.

• Sperren Sie nur Bereiche mit geringem Wert, die Crawllast erzeugen.
• Nutzen Sie noindex statt robots.txt, um Seiten aus der Suche fernzuhalten.
• Sperren Sie keine CSS und JavaScript Dateien, denn Google braucht sie zum Rendern.
• Ergänzen Sie die Sitemap Adresse am Ende der Datei.
• Prüfen Sie nach jeder Änderung die Livedatei.

Für einen sauberen Startpunkt erzeugt unser robots.txt Generator die Grundregeln fehlerfrei. Danach ergänzen Sie die Zeilen, die Ihre Website braucht.

Wie gehen Sie in verschiedenen CMS vor?

Konkret ist die Logik überall gleich, nur der Ort der Umsetzung ändert sich. Auf manchen Systemen ist die robots.txt eine echte Datei. Auf anderen erzeugt ein Plugin oder Theme sie virtuell. Finden Sie also zuerst heraus, wer die Datei schreibt.

• WordPress: Ein SEO Plugin oder das Theme erzeugt womöglich die robots.txt; pflegen Sie die Einstellung nur an einer Stelle.
• Gehostete Shopsysteme: Der passende Bereich im Panel bietet eventuell noindex auf Vorlagenebene; Menünamen ändern sich, also prüfen Sie die offizielle Hilfe der Plattform.
• Eigene Software: Ergänzen Sie noindex auf Vorlagenebene und testen Sie es mit Ihrem Entwickler.

Eine solide Ausgangsdatei für WordPress bietet unser Leitfaden zur WordPress robots.txt. Zudem vermeiden Sie damit Konflikte zwischen Plugin und handgeschriebener Datei.

Welche Checkliste sollten Sie vor der Änderung nutzen?

Eine Änderung an der robots.txt wirkt klein, hat aber große Folgen. Ein einziger Schrägstrich sperrt im Zweifel die ganze Website. Gehen Sie deshalb vor der Veröffentlichung eine kurze Checkliste durch.

1. Sichern Sie eine Kopie der aktuellen robots.txt lokal.
2. Notieren Sie, welche URL Gruppe jede geänderte Zeile betrifft.
3. Testen Sie je eine Startseite, Kategorie, Produktseite und einen Blogartikel gegen die neuen Regeln.
4. Prüfen Sie, dass die Vorlage mit noindex keine Kernseiten umfasst.
5. Veröffentlichen Sie außerhalb der Stoßzeiten und beobachten Sie den ersten Tag.

Halten Sie außerdem in einem einfachen Änderungsprotokoll fest, wer was wann geändert hat. Geht etwas schief, finden Sie dann in Minuten die Zeile zum Zurücksetzen.

Die Checkliste kostet fünf Minuten. Eine falsche Regel, die Kernseiten aus dem Index wirft, kostet dagegen Wochen. Kurz gesagt spart kontrolliertes Vorgehen insgesamt Zeit.

Ändern KI Crawler das Bild?

Die robots.txt entsteht heute nicht mehr nur für den Googlebot. Viele Websites ergänzen eigene Regeln für die Crawler von KI Anbietern. Trotzdem gilt dasselbe Prinzip: Ein Crawlverbot verhindert nicht, dass eine URL auf anderen Wegen bekannt ist.

Sperren Sie zum Beispiel einen KI Bot, ändern sich dadurch nicht die Regeln für Googles Suchindex. Jede User-agent Gruppe betrifft nur ihren eigenen Bot. Andererseits trifft eine falsch gruppierte Regel versehentlich auch den Googlebot.

Zudem machen viele Botregeln die Datei unübersichtlich. Welcher Bot was crawlt und wie Sie ihn steuern, erklären wir im Leitfaden zu KI Crawlern und llms.txt. Eine aufgeräumte Datei senkt außerdem das Risiko, dass diese Warnung zurückkehrt.

Können Serverlogs die Quelle zeigen?

Ja, Zugriffslogs liefern starke Hinweise auf URLs mit dem Status durch robots.txt blockiert. Die Search Console zeigt die URLs, die Google kennt. Logs zeigen dagegen, welche Anfragen der Googlebot tatsächlich gesendet hat. Beides zusammen ersetzt Vermutungen durch Belege.

So sehen Sie etwa, dass der Googlebot einen gesperrten Ordner nie angefragt hat, während URLs daraus im Index stehen. Das bestätigt die Entdeckung über Links. Danach suchen Sie die Vorlage, aus der diese Links stammen.

• Sammeln Sie Botanfragen an gesperrte Ordner in einer eigenen Liste.
• Finden Sie mit einem Crawler die internen Seiten, die auf diese URLs verlinken.
• Beobachten Sie nach der Änderung, ob Anfragen die Seiten mit noindex erreichen.

Betrachten Sie nur echte Googlebot Anfragen, denn falsche Bots täuschen sonst. Google dokumentiert, wie Sie den echten Crawler verifizieren. Fehlt Ihnen der Logzugang, fragen Sie Ihren Hosting Anbieter; beachten Sie dabei Speicherregeln, da Logs personenbezogene Daten enthalten können.

Wie verhindern Sie, dass die Warnung zurückkehrt?

Allerdings reicht einmal beheben nicht. Mit dem Wachstum der Website kommen neue Vorlagen und Parameter hinzu. Eine vorbeugende Routine bewahrt Sie also davor, dieselbe Warnung Monate später wiederzusehen.

1. Listen Sie vor jeder neuen Vorlage oder jedem Plugin die erzeugten URLs auf.
2. Lassen Sie robots.txt Änderungen von einer Person freigeben und dokumentieren Sie den Grund.
3. Prüfen Sie den Bericht zur Seitenindexierung mindestens einmal im Monat.
4. Kontrollieren Sie regelmäßig, dass die Sitemap nur indexierbare URLs enthält.

Diese Routine hilft außerdem, Canonical Probleme und Soft 404 Fehler früh zu erkennen. Zusammengefasst kostet regelmäßige technische Pflege weit weniger als eine einmalige Rettungsaktion und schützt die Indexgesundheit langfristig.

Wann lohnt sich professionelle Hilfe?

Eine Warnung mit wenigen URLs, die durch robots.txt gesperrt sind, beheben die meisten Betreiber selbst. Bei Tausenden URLs, mehreren Vorlagen und komplexen Parametern trifft eine falsche Regel allerdings schnell auch Kernseiten.

Externe Hilfe ist vor allem sinnvoll, wenn ein Theme oder Plugin unkontrolliert URLs erzeugt, wenn die Warnungen nach einem Umzug gestiegen sind oder wenn niemand im Team robots.txt und Vorlagen gemeinsam steuert. Liegen Inhalt, Entwicklung und Marketing bei verschiedenen Personen, driften robots.txt Entscheidungen zudem leicht auseinander.

Wir, Talha Aslan und Team, gehen solche technischen Indexprobleme an der Quelle an. Wir gruppieren die URLs, schreiben die Regeln neu und verfolgen die Validierung in Berichten. Für einen passenden Plan fordern Sie auf unserer Seite zur SEO Beratung ein Angebot an. Bestimmte Rankings versprechen wir nicht; unser Ziel ist eine saubere, messbare Indexstruktur.

Grundlagen: Was ist Online Marketing? Arten, Beispiele und Vorgehen auf einer Seite, mit einem interaktiven Film durch das Gehirn.