Tools
Robots.txt-Generator
Erstellen Sie in Sekunden eine individuelle robots.txt für Ihre Website: fertige Vorlagen, ein zeilenweiser Regel-Editor, Sitemap-Unterstützung und Kopieren mit einem Klick. Kostenlos, ohne Anmeldung.
Speichern Sie die Ausgabe als Datei mit dem Namen robots.txt und laden Sie sie in das Stammverzeichnis Ihrer Website hoch (z. B. public_html). Die Datei muss unter https://ihreseite.de/robots.txt erreichbar sein; robots.txt-Dateien in Unterverzeichnissen werden ignoriert. Jede Subdomain nutzt ihre eigene Datei.
Was robots.txt kann und was nicht
robots.txt ist eine einfache Textdatei, die Suchmaschinen-Bots mitteilt, welche Bereiche Ihrer Website sie crawlen dürfen. Richtig eingesetzt steuert sie Ihr Crawl-Budget: Sie hält Bots von wertarmen URLs wie Warenkorb, Filtern und Admin-Seiten fern, damit sie Ihre wichtigen Seiten häufiger besuchen. Es gibt jedoch eine entscheidende Grenze: robots.txt entfernt keine Seite aus dem Google-Index. Eine per Disallow gesperrte URL kann weiterhin ohne Beschreibung in den Suchergebnissen erscheinen, wenn andere Seiten auf sie verlinken; das Entfernen ist Aufgabe des noindex-Tags oder der Search-Console-Tools.
Der häufigste Fehler ist das Blockieren von CSS- und JavaScript-Dateien. Google rendert Ihre Seite wie ein Browser; ohne Zugriff auf Styles und Skripte sieht es eine kaputte Seite und kann Mobilfreundlichkeit und Page Experience falsch bewerten. Der zweite Klassiker ist eine aus der Entwicklung übrig gebliebene Zeile Disallow: / auf der Live-Site; diese eine Zeile stoppt das Crawling der gesamten Website. Beachten Sie auch die Groß- und Kleinschreibung: /Blog/ und /blog/ sind unterschiedliche Regeln.
Die Zeile Sitemap: ist der praktischste Weg, Bots die Adresse Ihrer Sitemap mitzuteilen. Sie muss eine absolute URL enthalten (beginnend mit https://), und mehrere Zeilen sind erlaubt. Die Zeile ist nicht Pflicht, beschleunigt aber die Erkennung, besonders bei neuen Websites. Reichen Sie Ihre Sitemap zusätzlich in der Google Search Console ein; dieses Tool schreibt jede hinzugefügte Sitemap-Adresse automatisch ans Ende der Ausgabe.
Robots.txt fertig, und der Rest Ihres technischen SEO?
Crawl-Steuerung ist nur der erste Schritt; das Ranking entscheiden Seitengeschwindigkeit, Content und Autorität. Schauen wir uns Ihre Seite in einem kostenlosen 15-Minuten-Gespräch gemeinsam an.