Robots.txt Generator

Robots txt Generator: was erstellt dieses Tool?

Ein robots.txt Generator ist ein Tool, mit dem Sie die robots.txt sauber schreiben, also die Textdatei, die Suchmaschinen und KI Bots sagt, welche Pfade Ihrer Website sie crawlen dürfen. Dieser Generator startet mit vier Vorlagen, lässt Sie Regeln Zeile für Zeile bearbeiten und erzeugt die Ausgabe sofort. Außerdem fasst er Zeilen für denselben Bot zu einer Gruppe zusammen, ergänzt fehlende Schrägstriche und hängt Ihre Sitemap URLs ans Ende.

Rechts gibt es drei Helfer. Zunächst erkennen das Etikett und die Prüfliste eine Zeile, die die ganze Website sperrt, eine relative Sitemap Adresse, gesperrte CSS oder JS Dateien und doppelte Regeln. Das Testfeld zeigt dann, ob ein Bot eine URL crawlen darf und welche Regel das entscheidet. Schließlich kopieren Sie die Datei oder laden sie direkt als robots.txt herunter.

Mein Team und ich prüfen diese Datei bei jedem Livegang und jedem Umzug zuerst. In der SEO Beratung beginnen die häufigsten Crawling Probleme genau hier. Das Tool läuft im Browser, Ihre Regeln erreichen also keinen Server.

Was leistet robots.txt, und was nicht?

Die Hauptaufgabe der robots.txt ist die Steuerung des Crawlings. Google nennt als Zweck, eine Überlastung Ihrer Website durch Anfragen zu vermeiden. In der Praxis halten Sie Bots damit von wertarmen URLs fern, etwa Warenkorb, interne Suche, Filter und Adminbereich. Folglich verbringen Bots ihre Zeit mit den Seiten, die Sie wirklich ranken möchten.

Allerdings hat die Datei drei klare Grenzen:

• Sie entfernt nichts aus dem Index. Eine gesperrte URL kann ohne Beschreibung in den Ergebnissen erscheinen, wenn andere Seiten auf sie verlinken. Dafür brauchen Sie noindex.
• Sie ist kein Schutz. Jeder kann die Datei lesen, und bösartige Bots ignorieren sie. Auch RFC 9309 stellt klar, dass diese Regeln keine Zugriffsberechtigung sind.
• Nicht jeder Bot liest sie gleich. Google und standardtreue Crawler verstehen die Syntax identisch, andere Bots verhalten sich womöglich anders.

Sehen Sie die robots.txt deshalb als Wegbeschreibung für Bots, nicht als Schloss. Den echten Nutzen spüren Sie, wenn Sie das Crawling zusammen mit dem übrigen technischen SEO angehen.

Robots txt Generator Vorlagen für WordPress und Onlineshops

Die WordPress Vorlage schreibt zwei Zeilen: Sie sperrt das Adminverzeichnis von WordPress und gibt darin die AJAX Datei wieder frei, die viele Themes und Plugins im Frontend aufrufen. Weil die Allow Zeile länger ist, wendet Google für diese Datei Allow an. Das können Sie im Testfeld selbst nachprüfen, sobald Sie die Vorlage wählen.

Die WooCommerce Vorlage ergänzt Warenkorb, Kasse und Kundenkonto. In deutschen Installationen lauten die Adressen meist /warenkorb/ und /kasse/, dazu kommt die Kontoseite; genau diese Pfade schreibt die Vorlage. Weichen Ihre Pfade ab, ersetzen Sie die Zeilen also durch Ihre eigenen. Im Onlineshop entsteht der größte Crawling Aufwand allerdings durch Filter und Sortierparameter. Zum Beispiel sperrt die Zeile Disallow: /*?orderby= die sortierten Kopien Ihrer Kategorieseiten.

Ein Rat von mir: Sperren Sie niemals die Ordner für Theme Dateien, CSS und JavaScript. Denn ohne diese Dateien rendert Google eine kaputte Seite. In der E-Commerce Beratung planen mein Team und ich Kategorie und Filterstruktur deshalb immer gemeinsam mit der robots.txt.

Sollten Sie KI Bots sperren?

Trennen Sie vor der Entscheidung zwei Arten von Bots. Trainingsbots wie GPTBot, ClaudeBot und CCBot sammeln Inhalte für das Modelltraining oder ein Datenarchiv. Suchbots wie PerplexityBot und der Suchbot von OpenAI für ChatGPT crawlen dagegen, damit KI Suchen Ihre Website als Quelle nennen können. Googles Token für Gemini, im Tool unter seinem genauen Namen, ist ein Sonderfall: Es ist kein eigener Crawler, sondern ein Steuerungstoken für Training und Grounding und berührt Ihre Position in der Google Suche nicht.

Meine Empfehlung: Wenn Ihre Inhalte nicht in Trainingsdaten landen sollen, sperren Sie die Trainingsbots, lassen Sie die Suchbots aber offen. Sonst verliert Ihre Marke Sichtbarkeit in Oberflächen wie der ChatGPT Suche. Auch OpenAI schreibt, dass das Sperren von GPTBot die ChatGPT Suche nicht betrifft; dafür zählt die Regel für den Suchbot.

Egal wie Sie entscheiden, zwei Punkte gelten immer:

• robots.txt wirkt nur für die Zukunft; bereits gesammelte Daten holt sie nicht zurück.
• Manche Abrufe im Auftrag eines Nutzers, zum Beispiel von Perplexity, beachten robots.txt in der Regel nicht.

Wie Sie diese Sichtbarkeit ausbauen, zeige ich im Artikel Marke in ChatGPT und Gemini sichtbar machen.

Wie testen Sie die robots.txt nach dem Hochladen?

Nach dem Upload mache ich drei Prüfungen:

1. Im Browser öffnen. Rufen Sie https://ihreseite.de/robots.txt in einem privaten Fenster auf. Die Datei sollte als reiner Text erscheinen und den Status 200 liefern. Weiterleitungsketten prüfen Sie mit dem Redirect Checker.
2. Den robots.txt Bericht der Search Console ansehen. Er zeigt für die 20 wichtigsten Hosts Ihrer Website die gefundenen Dateien, den letzten Abruf und Fehler beim Parsen. Haben Sie eine wichtige Sperre entfernt, fordern Sie dort einen erneuten Abruf an.
3. Wichtige URLs testen. Geben Sie typische Adressen wie Startseite, Kategorie, Produkt und Blogartikel ins Testfeld dieses Tools ein und prüfen Sie, ob jede das erwartete Ergebnis liefert.

Google speichert die Datei in der Regel bis zu 24 Stunden im Cache; eine Änderung wirkt daher nicht immer sofort. Falls die Search Console neu für Sie ist, starten Sie mit meiner Search Console Anleitung für Einsteiger.

Wie arbeiten robots.txt, noindex und Sitemap zusammen?

Die drei erfüllen verschiedene Aufgaben und ergänzen sich. robots.txt steuert das Crawling, noindex die Indexierung, die Sitemap die Entdeckung. Die meisten Probleme entstehen, wenn man sie verwechselt.

• noindex braucht Crawling. Soll noindex eine Seite aus dem Index holen, sperren Sie diese Seite nicht per robots.txt; Google sieht das Tag nur, wenn es die Seite crawlt. Das Tag erstellen Sie mit dem Meta Tag Generator.
• In die Sitemap gehören nur indexierbare URLs. Eine per robots.txt gesperrte URL in der Sitemap sendet Google ein widersprüchliches Signal.
• Die Sitemap Zeile braucht eine vollständige URL. Google probiert keine Varianten mit http, https oder www aus, sondern liest die Adresse genau so, wie sie dasteht.

Haben Sie noch keine Sitemap, erstellen Sie eine mit dem XML Sitemap Generator und tragen Sie ihre URL hier ins Sitemap Feld ein. Reichen Sie die Sitemap danach auch in der Search Console ein; die Zeile in der robots.txt hilft bei der Entdeckung, die Berichte liefert aber die Search Console.

Checkliste für robots.txt bei Livegang und Relaunch

Den teuersten robots.txt Fehler sehe ich immer wieder in derselben Form: Die Zeile Disallow: / aus der Testumgebung wandert beim Livegang mit der Datei auf die echte Website. Diese eine Zeile stoppt das Crawling der gesamten Website, und der organische Traffic sinkt, bis es jemand bemerkt. Das Tool markiert die Zeile als kritisch, doch eine Checkliste für den Starttag ist die sicherere Gewohnheit.

• Öffnen Sie vor dem Livegang die robots.txt und suchen Sie nach Disallow: /.
• Schützen Sie die Testumgebung per Passwort statt per robots.txt; dann ist selbst eine mitkopierte Datei harmlos.
• Hat sich Domain oder Protokoll geändert, etwa von http auf https, braucht der neue Host eine eigene robots.txt. Regeln gelten nur für Host, Protokoll und Port, unter denen die Datei liegt.
• Aktualisieren Sie die Adressen in den Sitemap Zeilen auf die neue Domain.

Für den gesamten Umzug nutzen Sie meine Checkliste für die Website Migration.