Googlebot crawlt weniger? Warum die Crawl Rate sinkt und was Sie tun können

Wenn die Crawl Rate in der Search Console plötzlich fällt, denken viele sofort an eine Abstrafung. Meine Erfahrung sagt etwas anderes: Eine fallende Kurve ist fast immer ein Signal, keine Strafe. Der Googlebot kann Ihre Seiten entweder seltener besuchen, oder er sieht keinen Grund mehr dafür. In diesem Artikel trenne ich beide Fälle und zeige Ihnen, wie Sie die Ursache mit den offiziellen Google Dokumenten und Ihren Serverdaten finden.

Warum sinkt die Crawl Rate, wenn der Googlebot weniger crawlt?

Die Crawl Rate beschreibt, wie oft der Googlebot eine URL in einem Zeitraum abruft. Sie sinkt aus zwei Gründen: Entweder antwortet Ihr Server langsam oder fehlerhaft, sodass Google die Crawling Kapazität senkt. Oder Google hält die Seite für selten geändert, wenig gefragt oder doppelt und reduziert daher den Crawling Bedarf.

Die zentrale Frage lautet also: Kann Google nicht kommen, oder will Google nicht kommen? Im ersten Fall liegt ein technisches Problem vor, das sich nach der Behebung oft in wenigen Tagen erholt. Im zweiten Fall geht es um Inhalt, Architektur und Qualität; das dauert länger.

Der häufigste Fehler in der Praxis ist, beide Fälle zu verwechseln. Ein Betreiber mit Serverproblem schreibt zum Beispiel plötzlich mehr Texte. Ein anderer mit Qualitätsproblem wechselt den Hoster. Deshalb gilt: Zuerst mit Daten diagnostizieren, danach handeln.

Welche zwei Kräfte bestimmen die Crawl Rate des Googlebot?

Google teilt das Crawl Budget in seinem Leitfaden zur Verwaltung des Crawling Budgets für große Websites in zwei Teile: das Limit der Crawling Kapazität und den Crawling Bedarf. Zusammen ergeben sie die Menge an URLs, die Google crawlen kann und crawlen möchte.

Das Kapazitätslimit betrifft die Zahl paralleler Verbindungen und die Pause zwischen zwei Abrufen. Google passt es anhand von zwei Faktoren an:

• Crawling Zustand: Antwortet die Website eine Zeit lang schnell, steigt das Limit. Bei Verlangsamung oder Serverfehlern sinkt es.
• Googles eigene Ressourcen: Auch Google hat nur begrenzte Rechenleistung und muss daher im ganzen Web priorisieren.

Der Crawling Bedarf beschreibt dagegen, wie sehr Google eine Seite abrufen möchte. Der Leitfaden nennt drei Faktoren:

• Wahrgenommener Bestand: Doppelte oder unwichtige URLs verschwenden Crawling Zeit.
• Beliebtheit: Beliebtere URLs crawlt Google tendenziell häufiger.
• Aktualität: Die Systeme crawlen erneut, um Änderungen zu erfassen.

Kurz gesagt: Jeder Rückgang lässt sich auf eine dieser beiden Seiten zurückführen. Ihre erste Aufgabe ist also, die gebrochene Seite zu finden.

Warum zieht sich der Googlebot bei langsamen Servern zurück?

Der Googlebot folgt einem Grundsatz: Er soll Ihre Website beim Crawlen nicht überlasten. Steigen die Antwortzeiten, liest Google das als Zeichen von Überlastung. Danach senkt er die Zahl paralleler Verbindungen. Somit erreicht er pro Tag weniger URLs.

Dieser Rückzug passiert leise, denn Sie erhalten keine Warnung. Zeigt der Bericht zu den Crawling Statistiken allerdings steigende Antwortzeiten bei sinkenden Anfragen, haben Sie den Zusammenhang wahrscheinlich gefunden.

Diese Ursachen für Verlangsamung sehe ich in Audits am häufigsten:

• Shared Hosting, bei dem Nachbarseiten Ressourcen verbrauchen
• Dynamische Seiten ohne Cache, die bei jedem Aufruf die Datenbank belasten
• Nächtliche Backups oder Massenimporte zur Hauptcrawlzeit
• Bot Schutz oder Firewall Regeln, die den Googlebot ausbremsen

Ist der Server selbst die Schwachstelle, hilft Ihnen mein Beitrag zum Thema Webhosting auswählen. Die Rankingseite erkläre ich zudem im Artikel wie die Ladezeit SEO beeinflusst. Anders gesagt: Ein schneller Server verdient eine großzügigere Crawling Kapazität.

Wie wirken sich die Statuscodes 500, 503 und 429 auf die Crawl Rate aus?

Googles Dokumentation zum Reduzieren der Crawling Frequenz ist hier eindeutig. Liefert Ihr Server statt 200 den Code 500, 503 oder 429, verlangsamt der Googlebot das Crawling. Google empfiehlt diese Codes sogar bewusst für Notfälle, allerdings nicht länger als 1 bis 2 Tage.

Schwierig wird es, wenn Ihr Server diese Codes ohne Ihr Wissen ausgibt. Dann bleibt die Crawl Rate unter Umständen wochenlang gedrückt. Außerdem warnt das Dokument: Sieht der Googlebot diese Fehler über mehrere Tage auf derselben URL, kann Google die URL aus dem Index entfernen.

In der Praxis ist ein Sicherheitsplugin am gefährlichsten, das dem Googlebot mit 429 antwortet. Der Betreiber sieht dann im Browser eine normale Seite, während Google täglich weniger abruft. Deshalb prüfe ich nach jeder Änderung an Firewall Regeln die Statuscodes, die der Googlebot erhält.

Ob Ihre Seite von außen erreichbar ist, sehen Sie schnell mit dem Tool Ist die Seite down. Den eigentlichen Beweis liefern trotzdem Ihre Server Logs; dazu komme ich weiter unten.

Was passiert, wenn Google die robots.txt nicht abrufen kann?

Die Datei robots.txt liest der Googlebot vor allem anderen zuerst. Laut Googles Dokumentation zur robots.txt stoppt Google das Crawling in den ersten 12 Stunden, wenn die Datei einen Serverfehler (5xx) liefert. In dieser Zeit versucht Google weiter, die Datei abzurufen.

In den folgenden 30 Tagen nutzt Google die letzte funktionierende Version und fragt parallel eine neue an. Nach 30 Tagen hängt alles von Ihrer Website ab. Ist sie grundsätzlich erreichbar, verhält sich Google so, als gäbe es keine robots.txt. Bestehen die Erreichbarkeitsprobleme fort, stoppt Google womöglich das Crawling.

Alle Fehler im Bereich 4xx außer 429 behandelt Google dagegen so, als gäbe es keine gültige robots.txt. Das heißt: Eine robots.txt mit 404 stoppt das Crawling nicht, eine mit 503 aber schon. Dieser kleine Unterschied erklärt, warum eine einzige Servereinstellung die ganze Domain treffen kann.

Zudem speichert Google die robots.txt in der Regel bis zu 24 Stunden im Cache. Haben Sie also versehentlich einen Ordner gesperrt, erholt sich das Crawling nach der Korrektur nicht sofort. Eine saubere Datei erstellen Sie mit dem robots.txt Generator.

Wie verändert die Beliebtheit einer Seite den Crawling Bedarf?

Google crawlt beliebtere URLs tendenziell häufiger. Beliebtheit bedeutet hier allerdings nicht nur Besucherzahlen. Externe Links, interne Links und die allgemeine Bedeutung der Seite prägen ebenso, wie Google sie einschätzt.

Zum Beispiel erhält eine Aktionsseite in der Startwoche Links von der Startseite, aus dem Menü und aus Social Media Beiträgen. Nach dem Ende der Aktion verschwinden diese Links, und die Seite rutscht tiefer in die Struktur. Danach besucht der Googlebot sie seltener, und genau das ist das erwartete Verhalten.

Ein Muster sehe ich immer wieder: Viele Seiten mit sinkender Crawl Rate sind schlicht verwaist. Jemand hat sie aus dem Menü entfernt, auf Seite 10 einer Kategorie verschoben oder nie aus einem Artikel verlinkt. Mit der Zeit vergisst Google sie daher.

Regelmäßige, thematisch passende interne Links sind daher der günstigste Weg, Beliebtheit von innen zu stärken. Konkrete Muster zeige ich im Beitrag zur internen Verlinkung als SEO Strategie.

Warum kommt Google seltener, wenn sich Inhalte nie ändern?

Aktualität ist der dritte Faktor des Crawling Bedarfs. Googles Systeme crawlen eine Seite so oft, dass sie Änderungen erfassen. Sieht eine Seite seit Monaten gleich aus, hat Google kaum einen Grund, täglich vorbeizuschauen.

Das ist nicht immer ein Problem, denn ein Impressum oder eine Datenschutzerklärung darf ruhig selten gecrawlt sein. Kritisch sind dagegen Seiten, die Sie häufig aktualisieren, ohne dass Google es bemerkt.

Stellen Sie sich dann eine ehrliche Frage: Ändern Sie wirklich Inhalte, oder nur das Datum? Ein neuer Zeitstempel ohne echte Änderung kann das Vertrauen schwächen, das Google Ihren Aktualitätssignalen entgegenbringt.

Andererseits ist eine aktuelle XML Sitemap der offizielle Weg, neue und geänderte URLs anzukündigen. Auch Googles Leitfaden zählt aktuelle Sitemaps zu den bewährten Methoden. Eine saubere Datei erstellen Sie mit dem XML Sitemap Generator.

Wie verschwenden doppelte URLs und Parameter das Crawl Budget?

Der wahrgenommene Bestand ist der am meisten unterschätzte Teil des Crawling Bedarfs. Googles Leitfaden sagt klar, dass doppelte oder unwichtige URLs Crawling Zeit verschwenden. Zeigt Ihre Website zehntausend Adressen, aber nur tausend davon haben eigenen Inhalt, verbringt der Googlebot die meiste Zeit mit Rauschen.

Diese Quellen blähen den Bestand am häufigsten auf:

1. Filter und Sortierparameter wie Farbe, Größe, Preis oder Reihenfolge
2. Session IDs und Tracking Parameter in internen Links
3. Kalender und Archive, die endlos neue Seiten erzeugen
4. Dasselbe Produkt unter mehreren Kategoriepfaden
5. Interne Suchergebnisseiten, die für das Crawling offen stehen

Auch Googles Dokument zur Crawling Frequenz nennt Facettennavigation und Kalender als häufige Ursachen für starkes Crawling. Das eigentliche Problem ist also manchmal nicht zu wenig Crawling, sondern Crawling an der falschen Stelle.

Gerade bei großen Shops im E-Commerce ist eine saubere Struktur von Anfang an entscheidend. Mein Beitrag zur Kategoriestruktur für große Websites vertieft diesen Aspekt.

Senken Canonical Tags und Weiterleitungsketten die Crawl Rate?

Ein Canonical Tag allein senkt die Crawl Rate nicht, aber er prägt das Signal, das Sie senden. Markieren Sie eine Seite als Duplikat einer anderen URL, stuft Google sie mit der Zeit als weniger wichtig ein und besucht sie seltener. Meist ist genau das gewollt.

Probleme entstehen, wenn der Canonical auf das falsche Ziel zeigt. Nennen zum Beispiel alle Seiten einer paginierten Liste die erste Seite als Canonical, verlieren Produkte ab Seite zwei womöglich ihren Entdeckungspfad. Folglich sinkt auch deren Crawl Rate.

Weiterleitungsketten sind eine direktere Verschwendung. Googles Leitfaden rät von langen Ketten ab, weil jeder Zwischenschritt zusätzliche Arbeit beim Crawling bedeutet. Dreistufige Ketten aus der Umstellung auf HTTPS oder einem alten Umzug gehören zu den häufigsten Befunden in meinen Audits.

Um eine Kette Schritt für Schritt zu prüfen, geben Sie eine URL in den Redirect Checker ein. Dann sehen Sie Statuscode und Ziel jedes Schritts und können die Kette auf eine einzige Weiterleitung kürzen.

Warum reduzieren Soft 404 Seiten und dünne Inhalte das Crawling?

Ein Soft 404 entsteht, wenn eine Seite leer ist oder fehlt, der Server aber trotzdem 200 liefert. Laut Googles Leitfaden crawlt Google solche Seiten weiter, und sie verschwenden Ihr Budget. Für entfernte Inhalte empfiehlt Google stattdessen den Code 404 oder 410.

Im E-Commerce ist der Klassiker eine ausverkaufte Produktseite, die nur noch „Produkt nicht gefunden“ zeigt. Hunderte solcher URLs signalisieren Google, dass Ihre Website viele wertlose Adressen enthält. Somit sinkt die wahrgenommene Qualität Ihres Bestands.

Dünne Inhalte wirken außerdem ähnlich. Fast identische Seiten mit wenigen Sätzen geben Google keinen Grund für häufige Besuche. Google kehrt selten zu Seiten zurück, auf denen es kaum Mehrwert findet, und das ist nachvollziehbar.

Die Lösung folgt meist einem von drei Wegen: Sie entfernen die Seite und liefern den richtigen Statuscode, Sie fassen ähnliche Seiten zu einer starken URL zusammen, oder Sie machen die Seite wirklich nützlich. Defekte Links finden Sie dabei mit dem Broken Link Checker.

Wie beeinflussen interne Links und Klicktiefe das Crawling?

Der Googlebot entdeckt neue und geänderte Seiten vor allem über Links. Eine Seite fünf oder sechs Klicks von der Startseite entfernt hat weniger Chancen als eine Seite in zwei Klicks Entfernung. Deshalb wirkt die Klicktiefe indirekt, aber deutlich auf das Crawling.

Ein typischer Fall: Blogartikel erscheinen nur chronologisch, und ältere Beiträge rutschen bis auf Seite 20 des Archivs. Zudem verlinkt keine andere Seite sie. Die Folge: Google ignoriert sie monatelang, obwohl einige noch Besucher bringen könnten.

Diese Schritte helfen Ihnen dabei:

• Machen Sie Kategorie und Tag Seiten zu echten Themenzentren.
• Verlinken Sie aus neuen Artikeln passende ältere Beiträge mit beschreibendem Ankertext.
• Halten Sie wichtige Seiten im Hauptmenü oder im Footer.
• Platzieren Sie wichtige Einträge in paginierten Listen möglichst weit vorne.

So folgen Nutzer und Googlebot denselben kurzen Wegen zu Ihren wichtigsten Seiten.

Worauf achten Sie im Bericht zu den Crawling Statistiken?

Den Bericht zu den Crawling Statistiken finden Sie in der Search Console unter Einstellungen. Er zeigt Daten der letzten 90 Tage und funktioniert nur für Properties auf Stammebene. Haben Sie Ihre Website als Unterordner hinzugefügt, erscheint der Bericht also nicht.

Oben zeigt der Bericht zunächst drei Kernwerte:

• Crawling Anfragen insgesamt: alle Anfragen, erfolgreich oder nicht.
• Downloadgröße insgesamt: die in diesem Zeitraum geladenen Bytes.
• Durchschnittliche Antwortzeit: der Mittelwert über alle abgerufenen Ressourcen.

Zusätzlich meldet der Bereich zum Hoststatus Probleme beim Abruf der robots.txt, bei der DNS Auflösung und bei der Serververbindung. Steht dort ein roter Status, hat Ihr Rückgang höchstwahrscheinlich eine technische Ursache.

Achten Sie beim Lesen auf Trends statt auf einzelne Tage. Steigende Antwortzeiten bei sinkenden Anfragen deuten auf die Kapazität. Konstante Antwortzeiten bei sinkenden Anfragen deuten auf den Bedarf. Einen umfassenden Einstieg bietet meine Google Search Console Anleitung.

Wie lesen Sie Anfragen nach Antwort, Zweck und Dateityp?

Konkret gliedert der Bericht die Anfragen auf vier Arten: nach Antwortcode, Dateityp, Crawling Zweck und Googlebot Typ. In diesen Aufschlüsselungen steckt der größte diagnostische Wert.

Bei den Antwortcodes ist ein wachsender Anteil an Serverfehlern der klarste Beweis für ein Kapazitätsproblem. Ein hoher Anteil an 301 zeigt dagegen, dass Sie noch auf alte Adressen verlinken. Ebenso verrät der Anteil an 404, ob Sie entfernte Seiten sauber bereinigt haben oder ob sich defekte Links ausbreiten.

Der Zweck teilt sich außerdem in Erkennung und Aktualisierung. Erkennung betrifft URLs, die Google noch nicht gecrawlt hat; Aktualisierung betrifft bekannte URLs. Schrumpft die Erkennung, findet Google Ihre neuen Seiten womöglich nicht. Schrumpft die Aktualisierung, hat das Interesse an bestehenden Seiten nachgelassen.

Auch der Dateityp zählt. Gehen die meisten Anfragen an JavaScript oder Bilder, bekommen Ihre HTML Seiten womöglich einen kleineren Anteil. Beim Googlebot Typ genügt es meist, den Smartphone Crawler zu beobachten, denn er leistet bei der Mobile First Indexierung die Hauptarbeit.

Was verraten Server Logs über die Crawl Rate?

Zunächst liefert die Search Console eine Zusammenfassung aus Googles Sicht. Ihre Server Logs enthalten dagegen jede einzelne Anfrage im Rohformat. Nur Logs zeigen, welche URL der Googlebot an welchem Tag mit welchem Statuscode und welcher Antwortzeit abgerufen hat. Daher treffe ich keine ernsthafte Entscheidung zur Crawl Rate ohne sie.

Bei der Analyse suche ich Antworten auf diese Fragen:

1. Welche Ordner besucht der Googlebot am häufigsten, und stehen wichtige Seiten auf dieser Liste?
2. Gibt es wichtige Seiten ohne einen einzigen Besuch?
3. Wie viel Crawling fließt in Parameter URLs und Duplikate?
4. Zu welchen Uhrzeiten häufen sich Serverfehler und 429 für den Googlebot?
5. Stammen Anfragen, die sich als Googlebot ausgeben, wirklich von Google?

Der letzte Punkt ist wichtig, weil gefälschter Bot Traffic das Bild verzerrt. Google empfiehlt, den echten Googlebot per Reverse DNS Abfrage oder über die veröffentlichten IP Bereiche zu prüfen.

Für eine erste Auswertung Ihres Access Logs in wenigen Minuten nutzen Sie die Logfile Analyse. Das Tool trennt Bot Anfragen, Statuscodes und die am häufigsten gecrawlten URLs und liefert Ihnen so eine schnelle erste Diagnose.

Welches Symptom deutet bei sinkender Crawl Rate auf welche Ursache?

Die folgende Tabelle fasst die Diagnoselogik aus meinen Audits zusammen. Das Symptom sehen Sie in den Crawling Statistiken oder in Ihren Logs; die wahrscheinliche Ursache und den ersten Schritt finden Sie rechts.

Nutzen Sie die Tabelle also für eine erste Hypothese, nicht als festes Rezept. Denn auf den meisten Websites wirken mehrere Ursachen gleichzeitig.

Mit welchen Schritten steigt die Crawl Rate wieder?

Nach der Diagnose zählt vor allem die Reihenfolge. Solange ein Kapazitätsproblem besteht, können inhaltliche Verbesserungen ihre Wirkung nicht entfalten. Ich gehe deshalb so vor:

1. Zugang sichern: Prüfen Sie robots.txt, DNS und Serververbindung auf Fehler.
2. Tempo zurückholen: Senken Sie die Antwortzeit des Servers und aktivieren Sie Caching.
3. Fehler beseitigen: Finden Sie die Quelle von 5xx und 429, und liefern Sie für Soft 404 Seiten echte Statuscodes.
4. Bestand verkleinern: Sperren Sie nutzlose Parameter URLs per robots.txt und führen Sie Duplikate zusammen.
5. Ketten kürzen: Verlinken Sie direkt auf die Ziel URL.
6. Bedeutung zeigen: Stärken Sie wichtige Seiten mit internen Links und halten Sie die Sitemap aktuell.
7. Beobachten: Verfolgen Sie die Crawling Statistiken nach jeder Änderung mindestens zwei bis drei Wochen.

Außerdem empfiehlt Googles Leitfaden, den HTTP Statuscode 304 (Not Modified) zu unterstützen. Damit lädt der Googlebot unveränderte Seiten nicht erneut herunter, und beide Seiten sparen Ressourcen. Zusammengefasst geht es darum, Googles Crawling Zeit auf die Seiten zu lenken, die sie verdienen.

Für welche Websites ist das Crawl Budget wirklich wichtig?

Zunächst definiert Google die Zielgruppe seines Leitfadens klar: Websites mit mehr als einer Million eindeutiger Seiten und wöchentlichen Änderungen, Websites mit mehr als 10.000 Seiten und täglichen Änderungen sowie Websites mit vielen URLs im Status „Gefunden, zurzeit nicht indexiert“ in der Search Console.

Für eine Unternehmenswebsite mit hundert Seiten ist das Crawl Budget also selten das eigentliche Problem. Sinkt dort das Crawling, liegt die Ursache meist bei der Erreichbarkeit oder bei schwachen Signalen zur Bedeutung der Seiten.

Anders sieht es bei einem großen Onlineshop oder einer täglich publizierenden Nachrichtenseite aus. Dort bestimmt die Verteilung der Crawling Zeit direkt, wie schnell neue Produkte und Artikel in den Index gelangen.

Ihre erste Frage sollte daher lauten: Gehört meine Website zu dieser Gruppe? Falls nicht, investieren Sie Ihre Energie in Serverqualität und Inhalte. Falls doch, hat die Verwaltung Ihres URL Bestands höchste Priorität. Als allgemeine Checkliste eignen sich meine 10 Tipps für technisches SEO.

Welche Maßnahmen bringen nichts oder schaden sogar?

Allerdings verschlimmern einige verbreitete Reflexe den Rückgang. Googles Leitfaden warnt ausdrücklich vor mehreren davon.

• Noindex zum Budgetsparen: Google muss eine Seite trotzdem crawlen, um das Noindex Tag zu sehen. Deshalb bewertet der Leitfaden diesen Ansatz als verschwendete Crawling Zeit.
• Seiten vorübergehend sperren: Der Leitfaden rät davon ab, Seiten per robots.txt kurzzeitig zu blockieren, nur um Budget umzuverteilen.
• Fehlercodes zu lange ausliefern: 503 oder 429 eignen sich nur für kurze Notfälle; halten sie tagelang an, fallen URLs womöglich aus dem Index.
• Jede URL in die Sitemap packen: Duplikate und wertlose Adressen blähen die Datei auf und schwächen das Signal.

Auch wiederholte Anträge auf Indexierung sind keine dauerhafte Lösung. Das Tool zur URL Prüfung hilft bei einer einzelnen Seite, verändert aber nicht den Crawling Trend der ganzen Website.

Künstliche Änderungen helfen ebenso wenig, denn Google unterscheidet echte Aktualisierungen von kosmetischen. Ergänzen Sie stattdessen neue Informationen, aktuelle Daten oder eine bessere Antwort. Eine dauerhafte Verbesserung kommt erst, wenn Sie die eigentliche Ursache beheben.

Was tun Sie, wenn der Googlebot zu viel crawlt?

Manchmal liegt das Problem genau andersherum: Der Googlebot kommt so oft, dass er Ihren Server belastet. Googles Dokument zur Crawling Frequenz verlangt dann zuerst eine Ursachenanalyse. Facettennavigation, Kalenderseiten und dynamische Suchanzeigen sind häufige Auslöser.

Im Notfall empfiehlt das Dokument, kurzfristig 500, 503 oder 429 zu liefern, jedoch nicht länger als 1 bis 2 Tage. Für eine längerfristige Lösung verweist es auf ein spezielles Meldeformular für den Googlebot in der Search Console.

Mein Rat: Prüfen Sie zuerst, ob die stark gecrawlten URLs überhaupt existieren müssen. Meist entsteht übermäßiges Crawling durch Parameter URLs, die sich unkontrolliert vermehren. Bereinigen Sie diese, sinkt die Serverlast, und die Crawling Zeit wandert zu den wichtigen Seiten.

Zum Beispiel sehen Sie vielleicht, dass der Googlebot täglich Tausende Filterkombinationen abruft, neue Produkte aber wochenlang ignoriert. Die Gesamtzahl der Anfragen wirkt gesund, doch wichtige Seiten erhalten nur einen winzigen Anteil. Dieses Bild zeigen nur Logdaten klar. Zu wenig und zu viel Crawling sind also oft zwei Seiten desselben Problems.

Wann braucht eine sinkende Crawl Rate professionelle Hilfe?

Auf den meisten kleinen Websites lösen Sie Crawling Probleme mit den Schritten oben selbst. Manche Situationen erfordern allerdings Erfahrung. Logdaten und Search Console Daten auf einer Website mit Tausenden URLs gemeinsam zu lesen, gehört zum Beispiel dazu.

Ich empfehle Unterstützung, wenn der Rückgang länger als drei Wochen anhält, wenn die Zahl der gefundenen, aber nicht indexierten URLs stetig steigt oder wenn sich das Crawling nach einem Umzug nicht erholt.

In solchen Projekten führen mein Team und ich zuerst Logdaten und Search Console Daten zu einer Crawling Karte zusammen. Danach ordnen wir Probleme bei Kapazität und Bedarf nach Wirkung und beheben sie der Reihe nach. Mehr dazu erfahren Sie auf unserer Seite zur SEO Beratung.

Fazit: Crawling ist ein Ergebnis, kein Ziel

Crawlt der Googlebot eine Seite seltener, spiegelt das die Signale Ihrer Website wider. Ist der Server langsam oder fehlerhaft, zieht sich Google höflich zurück. Ändert sich eine Seite nie, fehlen ihr Links oder versteckt sie sich zwischen Duplikaten, verliert Google das Interesse.

Statt die Crawl Rate also direkt „hochzudrücken“, verbessern Sie die Bedingungen, die sie bestimmen. Ein schneller, stabiler Server, ein sauberer URL Bestand, starke interne Links und Inhalte mit echten Änderungen lenken Googles Crawling Zeit von selbst an die richtigen Stellen.

Schließlich gilt: Crawling, Indexierung und Ranking sind getrennte Stufen. Eine häufig gecrawlte Seite steigt nicht automatisch im Ranking. Doch Änderungen an einer Seite, die Google nie erneut abruft, erreichen die Suchergebnisse nicht, und genau darin liegt das eigentliche Risiko.