Platzhalter in der robots.txt: Regeln mit * und $ richtig schreiben

In diesem Leitfaden erklären wir, Talha Aslan und Team, die Fragen zu Platzhaltern, die uns in technischen Audits am häufigsten begegnen: was jedes Zeichen erfasst, welche Regel gewinnt und wie Sie fehlerhafte Muster korrigieren. Wenn Sie lieber mit einer sauberen Vorlage starten, lassen Sie unseren kostenlosen robots.txt Generator beim Lesen geöffnet. So übernehmen Sie jedes Beispiel direkt in Ihre eigene Datei. Am Ende finden Sie zudem eine fertige Vorlage und einen Testablauf.

Sie kennen die Datei selbst noch nicht? Dann beginnen Sie mit unserem Beitrag Was ist robots.txt und wie erstellen Sie sie. Die Grundlagen wiederholen wir hier nicht. Stattdessen konzentrieren wir uns allein auf den Musterabgleich.

Was genau erfasst der Stern (*)?

Der Stern bedeutet: An dieser Stelle darf alles stehen. Das heißt, er erfasst null Zeichen oder auch Hunderte. Zum Beispiel deckt Disallow: /*.pdf jede URL ab, die irgendwo im Pfad ".pdf" enthält. Betrachten Sie ihn also als kurzes Werkzeug mit großer Reichweite.

Ein Detail aus der Google Dokumentation überrascht viele: Ein Stern am Ende hat keine Wirkung. Die Regel /fish* erfasst dieselben URLs wie /fish, denn Pfade in der robots.txt funktionieren ohnehin als Präfixabgleich. Kurz gesagt schadet ein Stern am Ende nicht, er bringt aber auch nichts.

• Breitester Fall: Disallow: /*? sperrt jede URL mit Fragezeichen, also jede URL mit Parametern.
• Engerer Fall: Disallow: /produkt/*/bewertungen sperrt jeden Pfad unter /produkt/, der "/bewertungen" enthält.
• Riskanter Fall: Disallow: /*korb sperrt jede URL, die irgendwo "korb" enthält, auch /korbmoebel-ratgeber.

Das letzte Beispiel zeigt, wie weit der Stern reicht. Konkret würde auch ein Blogbeitrag mit "korb" im Slug aus dem Crawling fallen. Diese Breite ist Vorteil und Risiko zugleich, deshalb kommen wir im Abschnitt über Fehler darauf zurück.

Wie begrenzt das Dollarzeichen ($) eine Regel?

Das Dollarzeichen bindet den Abgleich an das Ende der URL. Zum Beispiel sperrt Disallow: /*.pdf$ nur URLs, die auf ".pdf" enden. Eine URL wie /bericht.pdf?download=1 passt dagegen nicht. Der Grund ist einfach: Diese URL endet mit einem Parameter und nicht mit ".pdf".

Das Beispiel von Google folgt derselben Logik. Die Regel /*.php$ erfasst /folder/filename.php, allerdings nicht /filename.php?parameters oder /filename.php/. Das Dollarzeichen heißt also: genau hier aufhören. Wenn Sie auch Varianten mit Parametern sperren möchten, lassen Sie es daher weg oder ergänzen eine zweite Zeile.

• Dateityp: Disallow: /*.xls$ sperrt nur Dateien, die auf .xls enden.
• Startseite: Allow: /$ erfasst nur die Stamm URL, nicht die Seiten darunter.
• Exakte Seite: Disallow: /suche$ sperrt nur /suche selbst, nicht /suche?q=schuhe.

Welche Regel gewinnt, wenn mehrere Platzhalter Regeln passen?

Passen mehrere Regeln auf eine URL, wendet Google die spezifischste an. Die Spezifität misst Google an der Länge des Regelpfads. Deshalb schlägt der längere Pfad den kürzeren. Konkret bleiben bei Allow: /blog/intern/ und Disallow: /blog/ alle Seiten unter /blog/intern/ crawlbar.

Dieselbe Längenlogik gilt für Regeln mit Platzhaltern. Im Beispiel von Google passt die URL /page.htm sowohl auf allow: /page als auch auf disallow: /*.htm. Die Disallow Regel ist länger und gewinnt somit. Anders gesagt macht ein Stern eine Regel weder schwächer noch stärker. Die Länge entscheidet.

Dieser Punkt verwirrt viele, weil sie annehmen, dass Disallow immer Vorrang hat. Was passiert also, wenn zwei passende Regeln gleich lang sind? In diesem Fall wählt Google die am wenigsten einschränkende Regel, also Allow. Stehen zum Beispiel Allow: /ordner und Disallow: /ordner zusammen in der Datei, bleibt /ordner crawlbar.

Wie lösen Sie einen Konflikt zwischen Allow und Disallow?

Am sichersten formulieren Sie die Ausnahme immer als längeren, spezifischeren Pfad. So hängt das Ergebnis von einem klaren Längenunterschied ab und nicht von der Reihenfolge der Zeilen. Zudem spielt die Reihenfolge für Google keine Rolle. Ob eine Regel oben oder unten steht, ändert nichts.

1. Schreiben Sie zunächst die allgemeine Sperre, zum Beispiel Disallow: /konto/.
2. Ergänzen Sie danach den Pfad, der offen bleiben soll, als längere Allow Regel, etwa Allow: /konto/hilfe/.
3. Testen Sie schließlich beide Pfade mit Beispiel URLs und notieren Sie, welche Regel gewinnt.

Beispielszenario: Ein Shop möchte alle /*? URLs sperren, die Seitennummerierung aber offen lassen. Die Regel Allow: /*?seite= ist länger als Disallow: /*?, daher bleiben Parameter URLs mit ?seite= am Anfang offen. Eine URL wie ?farbe=rot&seite=2 passt allerdings nicht auf diese Allow Regel, denn dort steht seite an zweiter Stelle.

Unterscheidet die robots.txt Groß und Kleinschreibung?

Ja, bei Pfaden schon. Laut Google erfasst die Regel /fish nicht /Fish.asp. Gibt es auf Ihrer Website also sowohl /Produkte als auch /produkte, brauchen Sie zwei getrennte Regeln. Sonst bleibt eine Variante offen.

Der Botname in der User-agent Zeile unterscheidet dagegen nicht zwischen Groß und Kleinschreibung. Das heißt, User-agent: googlebot und User-agent: Googlebot meinen denselben Crawler. Auch Feldnamen wie Disallow und Allow sind unempfindlich. Trotzdem empfehlen wir der Lesbarkeit halber einen großen Anfangsbuchstaben.

• Pfadwerte sind empfindlich, /PDF/ und /pdf/ sind also verschiedene Ordner.
• Botnamen sind unempfindlich, bingbot und Bingbot sind somit identisch.
• Dateiendungen folgen der Pfadregel: /*.PDF$ erfasst keine kleingeschriebenen .pdf Dateien.

Wie sperren Sie Parameter URLs mit Platzhaltern?

Parameter URLs gehören zu den größten Verbrauchern von Crawlingressourcen. Filter, Sortierung und Sitzungsparameter erzeugen Hunderte Kopien desselben Inhalts. Genau deshalb helfen Platzhalter hier am meisten. Die Seite rund um Canonical und Filter behandeln wir in unserem Leitfaden zur Facettennavigation.

• Breiteste Option: Disallow: /*? sperrt jede URL mit Fragezeichen. Sie ist zugleich die riskanteste Wahl.
• Nur erste Position: Disallow: /*?sortierung= sperrt URLs, bei denen sortierung der erste Parameter ist.
• Spätere Positionen: Disallow: /*&sortierung= greift, wenn sortierung an zweiter oder späterer Stelle steht.
• Sitzungskennungen: Disallow: /*sessionid= sperrt Sitzungs URLs an jeder Parameterposition.

Beachten Sie, dass Sie für einen einzelnen Parameter meist zwei Zeilen brauchen. Eine Zeile nutzt ?, die andere &. Denn der erste Parameter folgt auf ein Fragezeichen, jeder weitere dagegen auf ein kaufmännisches Und.

Wie sperren Sie bestimmte Dateitypen wie .pdf oder .docx?

Für Dateitypen kombinieren Sie Stern und Dollarzeichen. Dann passen nur URLs, die mit dieser Endung aufhören. Zum Beispiel stoppt Disallow: /*.pdf$ das Crawling aller PDF Dateien der Website. Einen Blogbeitrag mit "pdf" im Slug lässt die Regel allerdings in Ruhe.

• Alle PDFs: Disallow: /*.pdf$ sperrt jede URL, die auf .pdf endet.
• Nur ein Ordner: Disallow: /dokumente/*.docx$ sperrt .docx Dateien innerhalb von /dokumente/.
• Vorsicht bei Disallow: /*.pdf: Ohne Dollarzeichen trifft die Regel auch Adressen wie /pdf-anleitung-download.

Behalten Sie dabei eines im Blick: Die robots.txt stoppt das Crawling, sie garantiert aber keine Entfernung aus dem Index. Eine PDF mit externen Links kann trotzdem als nackte URL in den Ergebnissen erscheinen. Soll eine Datei ganz aus dem Index verschwinden, sind der X-Robots-Tag Header oder noindex das bessere Werkzeug. Den Vergleich finden Sie in unserem Beitrag zu noindex, nofollow und robots.txt.

Wie trennen User-agent Gruppen die Regeln?

Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent Zeilen, und die Allow und Disallow Zeilen darunter gehören zu dieser Gruppe. Liest ein Crawler die Datei, folgt er nur der einen Gruppe, die am spezifischsten auf ihn passt. Folglich addieren sich Gruppen nicht.

Die Dokumentation von Google ist hier eindeutig: Botspezifische Gruppen und die globale Gruppe (*) verbinden sich nicht. Legen Sie zum Beispiel eine eigene Gruppe für Googlebot an, ignoriert Googlebot die globale Gruppe vollständig. Daher müssen Sie wichtige globale Sperren auch in jede botspezifische Gruppe kopieren.

Enthält die Datei dagegen mehrere Gruppen für denselben Bot, führt Google sie zusammen. Trotzdem empfehlen wir, jeden Bot in einer einzigen Gruppe zu bündeln. Zum Beispiel steht die globale Gruppe am Anfang, danach folgen die botspezifischen Gruppen.

Mit welchem Muster sprechen Sie einen bestimmten Bot an?

Für einen bestimmten Bot tragen Sie das Produkttoken aus dessen Dokumentation in die User-agent Zeile ein. Danach ergänzen Sie die Regeln, die nur für diesen Bot gelten sollen. So können Sie zum Beispiel den Bildcrawler mit einer eigenen Gruppe aus einem Ordner fernhalten.

• Bildcrawler: User-agent: Googlebot-Image mit Disallow: /private-bilder/ hält nur den Bildcrawler von Google aus diesem Ordner fern. Das normale Crawling durch Googlebot bleibt unberührt.
• Globale Gruppe: User-agent: * mit Disallow: /admin/ schließt den Adminordner für jeden Bot ohne eigene Gruppe.
• Eigene Gruppe: Sobald eine Gruppe mit User-agent: Googlebot beginnt, liest Googlebot diese statt der globalen Gruppe.

KI Crawler wie GPTBot oder ClaudeBot sprechen Sie nach demselben Prinzip an. Ihre Namen und die typischen Stolperfallen erklären wir in unserem Leitfaden zu KI Crawlern. Prüfen Sie aktuelle Botnamen immer auf der offiziellen Seite des Anbieters.

Welche Fehler mit Platzhaltern passieren am häufigsten?

Die meisten Fehler aus unserer Praxis entstehen, weil ein Muster mehr oder weniger erfasst als gedacht. Die Tabelle unten zeigt typische fehlerhafte Muster, ihre Folgen und die richtige Variante. Allgemeinere Dateifehler behandeln wir im Beitrag über häufige robots.txt Fehler.

Die erste Zeile ist am wichtigsten. Laut Google sollen Pfadwerte mit einem Schrägstrich beginnen. Eröffnen Sie die Regel also immer mit einem Schrägstrich und setzen Sie erst dann den Stern.

Können Platzhalter versehentlich CSS und JavaScript sperren?

Ja, ein unachtsames Muster schafft das leicht. Zum Beispiel sperrt Disallow: /*? auch Dateien wie style.css?ver=3, die einen Versionsparameter tragen. Dann kann Google die Seite womöglich nicht korrekt rendern. Folglich bewertet Google Layout und mobile Nutzbarkeit eventuell falsch.

Die Lösung ist einfach: Ergänzen Sie längere Allow Regeln neben der allgemeinen Sperre. Zum Beispiel öffnen Allow: /*.css$ und Allow: /*.js$ Dateien ohne Versionsparameter. Für Dateien mit Parametern ergänzen Sie Allow: /*.css? und Allow: /*.js?. Diese Zeilen sind länger als Disallow: /*? und gewinnen somit.

Nutzen Sie WordPress, spielt auch der Speicherort von Theme und Plugindateien eine Rolle. Diese Details behandeln wir im Schwesterbeitrag WordPress robots.txt richtig einrichten.

Wie testen Sie eine Regel, bevor sie live geht?

Ein Platzhaltermuster vor dem Livegang zu testen kostet weit weniger, als später einen Trafficeinbruch zu erklären. Unser Team folgt bei jeder Änderung an der robots.txt den Schritten unten. Sie können dieselbe Reihenfolge nutzen.

1. Notieren Sie 5 bis 10 Beispiel URLs, die gesperrt sein sollen, und 5 bis 10 URLs, die unbedingt offen bleiben müssen.
2. Entwerfen Sie die Regeln in unserem robots.txt Generator und prüfen Sie jede User-agent Gruppe einzeln.
3. Ermitteln Sie für jede Beispiel URL, welche Regel passt und wie lang ihr Pfad ist; die längste gewinnt, bei Gleichstand gewinnt Allow.
4. Laden Sie die Datei als UTF-8 Klartext in das Stammverzeichnis des Hosts, denn Crawler ignorieren eine Datei in einem Unterordner.
5. Bestätigen Sie mit dem robots.txt Bericht in der Search Console, dass Google die Datei fehlerfrei abgerufen hat.
6. Prüfen Sie einige Tage später Crawlingstatistiken und Indexierungsberichte; bei einem unerwarteten Einbruch nehmen Sie die Regel zurück.

Google veröffentlicht Details zu Speicherort und Kodierung im Leitfaden zum Erstellen einer robots.txt. Außerdem steht die vollständige Abgleichslogik in der Spezifikation von Google zur robots.txt.

Spielt die Reihenfolge der Regeln eine Rolle?

Für Google nicht. Google achtet nicht auf die Zeilenfolge, sondern auf Länge und Einschränkung. Ob eine Allow Regel über oder unter einer Disallow Regel steht, ändert also nichts. Das gibt Ihnen Freiheit, die Datei übersichtlich zu ordnen.

Allerdings verhält sich nicht jeder Crawler gleich. Manche ältere oder einfache Crawler wenden womöglich die erste passende Regel an. Deshalb empfehlen wir eine praktische Gewohnheit: Setzen Sie Ausnahmen mit Allow direkt über die zugehörige Disallow Zeile. So kommen Google und reihenfolgebasierte Crawler zum selben Ergebnis.

Wie wirken sich Platzhalter auf das Crawlbudget aus?

Gut formulierte Muster reduzieren die Anfragen, die Googlebot auf wertlose Parameterkopien verwendet. Dadurch crawlt Google wichtige Seiten gleichmäßiger. Am deutlichsten zeigt sich der Effekt bei Shops mit Tausenden Filterkombinationen.

Andererseits kann ein zu breites Muster auch wichtige Seiten aus dem Crawling drängen. Sehen Sie einen unerwarteten Rückgang der Crawlrate, steckt manchmal ein einziger Stern dahinter. Für die Ursachensuche hilft die Checkliste in unserem Beitrag warum Googlebot weniger crawlt.

• Suchen Sie zunächst in den Crawlingstatistiken der Search Console die URL Muster mit den meisten Anfragen.
• Bestätigen Sie dann, dass diese Muster wirklich wertlose Kopien sind.
• Schließen Sie zuletzt nur die bestätigten Muster mit engen, spezifischen Regeln.

Akzeptiert die Sitemap Zeile Platzhalter?

Nein. Diese Frage kommt oft, denn wer sich an Platzhalter gewöhnt, möchte sie in jeder Zeile nutzen. Laut Google funktioniert der Stern in allen Regeln außer sitemap. Die Sitemap Zeile braucht eine vollständige, gültige URL, zum Beispiel Sitemap: https://example.com/sitemap.xml. Zudem gehört diese Zeile zu keiner User-agent Gruppe und darf überall in der Datei stehen.

Haben Sie mehrere Sitemaps, schreiben Sie für jede eine eigene Sitemap Zeile. Müssen Sie eine Sitemap erst erstellen, verkürzt unser XML Sitemap Generator die Arbeit auf wenige Minuten.

Wie sieht eine fertige Vorlage mit Platzhaltern aus?

Das folgende Beispiel zeigt einen sinnvollen Ausgangspunkt für einen typischen Onlineshop. Zu jeder Zeile notieren wir, was sie bewirkt. Allerdings handelt es sich um ein Beispielszenario, passen Sie es deshalb vor dem Kopieren an Ihre URL Struktur an.

• User-agent: *: Jeder Bot ohne eigene Gruppe liest diese Gruppe.
• Warenkorb: Disallow: /warenkorb/ hält Warenkorbseiten aus dem Crawling.
• Kundenbereich: Disallow: /konto/ schließt die Kundenkonten.
• Sortierung: Disallow: /*?sortierung= und Disallow: /*&sortierung= sperren den Sortierparameter an jeder Position.
• Dateityp: Disallow: /*.pdf$ sperrt Dateien, die auf .pdf enden.
• Ressourcen: Allow: /*.css$ und Allow: /*.js$ halten Stil und Skriptdateien offen.
• Sitemap: Sitemap: https://example.com/sitemap.xml nennt die vollständige Adresse der Sitemap.

Zusammengefasst ist eine gute Vorlage kurz, lesbar und getestet. Eine lange, verschachtelte Datei erschwert die Fehlersuche. Zudem spart es später Zeit, wenn Sie jede Zeile mit einer Test URL verknüpfen. Kommt etwa ein neuer Filter hinzu, aktualisieren Sie nur die passende Zeile.

Gibt es eine Größengrenze für die robots.txt?

Ja. Google setzt für die robots.txt eine Grenze von 500 KiB und ignoriert Inhalte jenseits dieser Grenze. Eine Datei, die jede URL einzeln mit Tausenden Zeilen sperren will, kann diese Grenze also überschreiten. Dann greifen die Regeln am Ende der Datei nie.

Genau deshalb sind Platzhalter so wertvoll. Statt Hunderte Filter URLs aufzulisten, schreiben Sie zum Beispiel eine einzige Zeile wie Disallow: /*?filter=. Somit bleibt die Datei kurz und leicht zu pflegen. Prüfen Sie den aktuellen Grenzwert trotzdem in der offiziellen Dokumentation.

Wie verändert ein Schrägstrich am Ende die Regel?

Ein Schrägstrich wirkt klein, verändert den Abgleich aber deutlich. Im Beispiel von Google erfasst /fish/ die Adresse /fish/salmon.htm, nicht jedoch /fish. Denn die Regel verlangt, dass der Pfad mit "/fish/" beginnt.

Lassen Sie den Schrägstrich dagegen weg, reicht die Regel viel weiter. Zum Beispiel schließt Disallow: /blog den Ordner /blog/, die Datei /blog.html und sogar /blogger-ratgeber. Setzen Sie den Schrägstrich daher bewusst, wenn Sie einen Ordner sperren.

• Für den ganzen Ordner schreiben Sie Disallow: /blog/.
• Möchten Sie auch Seiten mit denselben Anfangsbuchstaben schließen, nutzen Sie Disallow: /blog ohne Schrägstrich.
• Nur eine einzelne Seite erreichen Sie mit dem Dollarzeichen: Disallow: /blog$.

Fragen Sie sich also nach jeder Regel, welche anderen URLs dieses Präfix noch erfasst. Diese eine Frage verhindert die meisten Fehler, die wir in der Praxis sehen.

Wie gehen Platzhalter mit Umlauten und kodierten URLs um?

Beim Vergleich von URL Pfaden stützen sich Crawler in der Regel auf die prozentkodierte Form. Enthalten Ihre URLs also Umlaute wie ü oder ö, ist der Pfad zum Server eigentlich eine kodierte Zeichenfolge wie %C3%BC. Deshalb sollten Sie beim Schreiben einer Regel beide Formen bedenken.

Google erwartet die robots.txt als UTF-8 Klartext und ignoriert womöglich Zeichen außerhalb von UTF-8. Folglich kann eine falsch kodierte Zeile unbemerkt ungültig werden. Daher empfehlen wir, Slugs von Anfang an mit einfachen lateinischen Buchstaben aufzubauen, statt Sonderzeichen in Regeln zu nutzen.

• Kopieren Sie vor dem Schreiben einer Regel den Pfad aus der Adressleiste und prüfen Sie seine kodierte Form.
• Nehmen Sie bei Pfaden mit Umlauten beide Varianten, kodiert und unkodiert, in Ihre Testliste auf.
• Legen Sie für neue Seiten eine Slugregel ohne Sonderzeichen fest, das erleichtert auch die Pflege der robots.txt.

Gelten Platzhalter Regeln auch für Subdomains?

Nein. Jede robots.txt gilt nur für den Host, das Protokoll und den Port, unter dem sie liegt. Zum Beispiel wirkt example.com/robots.txt nicht auf shop.example.com. Für jede Subdomain legen Sie also eine eigene Datei an.

Außerdem gelten HTTP und HTTPS technisch als getrennte Hosts. In der Praxis gehört die Hauptdatei auf die Version, auf die Ihre Website weiterleitet. Eine Staging Subdomain hat dagegen meist eine strengere Datei, die alles sperrt. Achten Sie allerdings darauf, dass diese strenge Datei beim Livegang nie auf die echte Website wandert. Das ist einer der teuersten Fehler, die wir kennen.

Wie berechnen Sie einen Platzhalter Abgleich von Hand?

Statt zu raten, welche Regel eine URL trifft, können Sie eine kleine Rechnung aufstellen. Listen Sie zunächst alle Regeln auf, die auf die URL passen. Zählen Sie dann die Pfadlänge jeder Regel in Zeichen. Die längste gewinnt, bei Gleichstand gewinnt Allow.

1. Notieren Sie die URL, zum Beispiel /produkte/schuhe?farbe=schwarz.
2. Suchen Sie die passenden Regeln: Disallow: /*? (3 Zeichen) und Allow: /produkte/ (10 Zeichen).
3. Vergleichen Sie die Längen: Die Allow Regel ist länger, gewinnt also, und die URL bleibt crawlbar.
4. Gleichen Sie das Ergebnis mit Ihrer Absicht ab; überrascht es Sie, ergänzen Sie eine längere Regel wie Disallow: /produkte/*?.

Diese Beispielrechnung zeigt, warum ein Platzhalter allein nicht genügt. Die allgemeine Sperre /*? ist kurz, deshalb schlagen Allow Regeln auf Ordnerebene sie leicht. Möchten Sie auch Parameter in freigegebenen Ordnern schließen, schreiben Sie daher eine längere, ordnerspezifische Disallow Regel.

Wie verwaltet ein Team Änderungen an der robots.txt?

Die robots.txt ist eine kleine Textdatei, doch eine einzige Zeile kann die Sichtbarkeit der ganzen Website verändern. Deshalb raten wir, sie nicht als Datei zu behandeln, die jeder beliebig bearbeitet. In unserem Team bekommt jede Änderung eine Notiz und ein Datum.

• Sichern Sie vor jeder Änderung eine datierte Kopie der aktuellen Datei.
• Dokumentieren Sie in einer kurzen Notiz, wer die Änderung vorgenommen hat und warum.
• Ergänzen Sie neben jeder neuen Platzhalterzeile einen Kommentar zur Zielgruppe der URLs; Zeilen mit einer Raute (#) am Anfang gelten als Kommentar.
• Prüfen Sie die Datei nach jedem Livegang, Themeupdate oder Umzug erneut.

Zum Beispiel kann bei einem Umzug die Stagingdatei, die alles sperrt, in die Produktion rutschen. Dann bricht das Crawling schnell ein, und das Problem fällt erst durch verlorenen Traffic auf. Ein robots.txt Schritt in Ihrer Checkliste für den Livegang ist also eine der günstigsten Absicherungen. Zudem helfen Kommentare einer Kollegin Monate später zu verstehen, warum eine Regel existiert.

Wann reicht die robots.txt nicht aus?

Die robots.txt steuert nur das Crawling. Probleme wie Index Bloat, doppelte Inhalte oder widersprüchliche Canonical Signale brauchen meist mehrere Werkzeuge gleichzeitig. Parameterprobleme verlangen zum Beispiel oft robots.txt, Canonical Tags und eine saubere interne Verlinkung zusammen.

Ist Ihre Website groß oder haben Sie nach einer Änderung an der robots.txt Traffic verloren, prüfen wir die Datei im Rahmen eines technischen Audits innerhalb unserer SEO Beratung. Dennoch können die meisten kleinen und mittleren Websites ihre Datei mit den Regeln aus diesem Leitfaden sicher selbst schreiben.

Grundlagen: Was ist Online Marketing? Arten, Beispiele und Vorgehen auf einer Seite, mit einem interaktiven Film durch das Gehirn.