Dizine Eklendi Ancak robots.txt Tarafından Engellendi: Nasıl Çözülür?

Kısa cevap
Dizine eklendi ancak robots.txt tarafından engellendi uyarısı ne demek?
Dizine eklendi ancak robots.txt tarafından engellendi uyarısı, Google'ın bir adresi taramadan dizine aldığı anlamına gelir. Yani Googlebot sayfanın içini okuyamadı; ancak başka sayfalardan gelen bağlantılar sayesinde adres yine de dizine girdi. Önce hedefinize karar verin: sayfa aramada yer almalı mı, almamalı mı?
Search Console bu durumu İngilizce arayüzde "Indexed, though blocked by robots.txt" adıyla gösterir. Google'ın Sayfa dizine ekleme raporu yardım sayfası bunu açıkça yazar: Google robots.txt dosyasına her zaman uyar, fakat bu kural dizine eklemeyi kendiliğinden engellemez. Kısacası tarama yasağı ile dizin yasağı aynı şey değildir.
Panik yapmanıza gerek yok. Bu uyarı bir ceza değildir ve sitenizin geri kalanını tek başına çökertmez. Yine de yanlış adreslerin arama sonuçlarında açıklamasız biçimde görünmesi hem marka algısını hem de tarama düzenini bozar. Bu nedenle sorunu sakin ama sistemli biçimde ele almak gerekir.
İlk 10 dakikada ne yapmalısınız?
Hızlı bir ilk müdahale, sonraki adımları kolaylaştırır. Aşağıdaki sırayı izlerseniz neyin neden olduğunu kısa sürede görürsünüz.
- Search Console'da Sayfa dizine ekleme raporunu açın ve uyarıdaki örnek adresleri bir tabloya aktarın.
- Adresleri gruplayın: parametreli adresler, arama sonuç sayfaları, sepet ve hesap sayfaları, eski bölümler gibi.
- Her grup için tek bir soru sorun: bu sayfa Google'da yer almalı mı?
- robots.txt dosyanızda bu grupları engelleyen satırı bulun ve hangi kuralın eşleştiğini not edin.
- Görünmesi gereken sayfalar ile görünmemesi gereken sayfaları iki ayrı listeye ayırın.
Tabloyu hazırlarken her adresin yanına kaynağını da not edin: menü, ürün kartı, site haritası ya da dış bağlantı. Böylece sonraki adımda yalnızca robots.txt dosyasına değil, adresi üreten şablona da odaklanırsınız. Bu küçük not, çözüm süresini belirgin biçimde kısaltır.
Bu ayrım işin yarısıdır. Çünkü iki listenin çözümü birbirinin tam tersidir: birinde engeli kaldırırsınız, diğerinde engeli kaldırıp sayfaya noindex verirsiniz. Robots.txt satırlarını hızlıca okumak için Search Console robots.txt raporunu okuma rehberimize göz atabilirsiniz.
Google engellenen bir sayfayı neden yine de dizine alır?
Google bir adresi yalnızca içeriğini okuyarak tanımaz. Başka sayfalardaki bağlantılar, bağlantı metinleri ve site haritası kayıtları da adresin varlığını ona bildirir. Google'ın robots.txt giriş belgesi bu noktayı net biçimde anlatır: başka sayfalar açıklayıcı metinle bir adrese bağlantı verirse Google o adresi ziyaret etmeden dizine ekleyebilir.
Örneğin bir filtre sayfanız iç bağlantılarla yüzlerce kez çağrılıyorsa Google bu adresin önemli olduğunu düşünebilir. Robots.txt ise yalnızca "içeri girme" der. Dolayısıyla Google kapının önünde durur, ama kapının var olduğunu bilir ve adresi listeye yazar.
Bu durumda arama sonucunda çoğunlukla açıklama yer almaz ya da çok sınırlı bir parça yer alır. Yardım sayfası da bu tür sayfaların snippet bilgisinin büyük olasılıkla çok kısıtlı olacağını belirtir. Yani kullanıcı tıklasa bile ne bulacağını sonuçtan anlayamaz.
Robots.txt ile noindex arasındaki fark nedir?
İkisi farklı soruları yanıtlar. Robots.txt "bu adresi tarayabilir misin?" sorusuna cevap verir. Noindex ise "bu sayfayı dizinde tutabilir misin?" sorusuna cevap verir. Karışıklık da tam olarak buradan doğar.
| Özellik | robots.txt Disallow | noindex (meta veya başlık) |
|---|---|---|
| Neyi kontrol eder? | Taramayı | Dizine eklemeyi |
| Google sayfanın içini okur mu? | Hayır | Evet, okumak zorundadır |
| Adres yine de dizine girebilir mi? | Evet, bağlantılar varsa | Hayır, kural görüldüğünde dizinden çıkar |
| Sonuçta açıklama görünür mü? | Çoğunlukla görünmez | Sayfa sonuçta hiç görünmez |
| PDF ve görsel gibi dosyalarda | Taramayı keser | X-Robots-Tag başlığı ile uygulanır |
| Doğru kullanım alanı | Tarama yükünü azaltmak | Sayfayı aramadan uzak tutmak |
Pratikte şunu akılda tutun: robots.txt bir trafik işaretine benzer, noindex ise bir kayıt silme talimatıdır. Trafik işareti Googlebot'un yolunu keser; ancak adresin haritada var olduğunu silmez. Kayıt silme talimatı ise ancak Googlebot sayfaya ulaşıp onu okuduğunda işe yarar.
Bu iki kavramı daha geniş açıdan karşılaştıran noindex, nofollow ve robots.txt karşılaştırmamız temel farkları ayrıntılı anlatır. Burada yalnızca uyarının çözümüne odaklanıyoruz.
Neden robots.txt engeli ile noindex birlikte çalışmaz?
Bu, uyarının en çok gözden kaçan noktasıdır. Google'ın noindex ile dizine eklemeyi engelleme belgesi şunu söyler: noindex kuralının etkili olması için sayfa robots.txt ile engellenmiş olmamalıdır. Çünkü Googlebot sayfayı tarayamazsa içindeki noindex etiketini de göremez.
Pek çok site sahibi "hem engelleyeyim hem noindex koyayım, iki kat güvenli olsun" diye plan yapar. Ancak sonuç tam tersidir. Tarama yasağı noindex etiketini gizler ve adres dizinde kalmaya devam eder. Böylece uyarı aylarca raporda durur.
Doğru sıra şöyledir: önce noindex etiketini ekleyin, sonra robots.txt engelini kaldırın, ardından Google'ın sayfayı yeniden taramasını bekleyin. Sayfa dizinden çıktıktan sonra bile engeli hemen geri koymayın; aksi halde yeni bağlantılar adresi tekrar listeye taşıyabilir.
Sayfa aramada görünmeli mi, görünmemeli mi?
Çözüm yolunu bu tek soru belirler. Bu yüzden her URL grubunu aşağıdaki ölçütlerle değerlendirin.
- Kullanıcı bu sayfayı Google'da arayıp bulduğunda işine yarar mı?
- Sayfanın kendine özgü, başka adreste olmayan içeriği var mı?
- Sayfa bir ürün, hizmet, kategori ya da blog yazısı gibi asıl içerik mi?
- Yoksa sepet, giriş, iç arama, sıralama veya oturum parametresi gibi teknik bir adres mi?
Asıl içerik sayfaları görünmelidir. Teknik adresler ise çoğunlukla görünmemelidir. Ancak arada kalan durumlar da olur; örneğin bir filtre kombinasyonu gerçekten aranan bir sorguya karşılık geliyorsa ona ayrı, kalıcı ve dizine açık bir kategori sayfası düşünmek daha mantıklı olabilir. Filtre adreslerinin SEO etkisini faceted navigation rehberimizde ayrıca ele aldık.
Görünmesi gereken sayfada dizine eklendi ancak engellendi uyarısı nasıl düzeltilir?
Asıl sayfa yanlışlıkla engellendiyse çözüm basittir: engeli kaldırırsınız. Yine de hangi satırın soruna yol açtığını bulmadan dosyayı değiştirmek yeni hatalar doğurur.
- Engelleyen Disallow satırını ve eşleşen kalıbı bulun.
- Kuralı daraltın ya da asıl sayfayı kapsayan bir Allow satırı ekleyin.
- Değişikliği yayına aldıktan sonra robots.txt dosyasının canlı sürümünü tarayıcıda açıp kontrol edin.
- URL Denetimi aracıyla örnek bir adresi test edin ve taramaya izin verildiğini görün.
- Raporda düzeltmeyi doğrulama seçeneğini başlatın.
Joker karakterler burada sık tuzak kurar. Örneğin yıldız ve dolar işareti içeren bir kural beklediğinizden çok daha geniş bir alanı kapatabilir. Bu kalıpların nasıl eşleştiğini robots.txt joker karakterler yazımızda örneklerle anlattık.
Görünmemesi gereken sayfada doğru çözüm hangisi?
Burada sezgiye ters bir adım atarsınız: engeli kaldırırsınız. Google yardım sayfası da bunu önerir; robots.txt dizine eklemeyi önlemenin doğru yolu değildir, engeli kaldırıp noindex kullanmanız gerekir.
- İlgili sayfa şablonuna noindex meta etiketini ekleyin.
- PDF gibi HTML olmayan dosyalarda aynı kuralı X-Robots-Tag yanıt başlığıyla verin.
- Robots.txt dosyasından bu grubu engelleyen satırı kaldırın.
- URL Denetimi aracıyla noindex kuralının görüldüğünü doğrulayın.
- Adresler dizinden düştükçe uyarı sayısının azaldığını takip edin.
Bu aşamada adresler raporda "noindex" durumuna geçer. Bu bir hata değil, istediğiniz sonuçtur. O durumun nasıl okunacağını noindex etiketi tarafından hariç tutuldu yazımızda anlattık. Sitenizde bu geçişi hatasız planlamak, şablonları ayırmak ve süreci haftalık izlemek istiyorsanız SEO danışmanlığı hizmetimizden teklif alabilirsiniz; işi biz üstlenir, raporla takip ederiz.
İstenmeyen URL'ler siteye nereden geliyor?
Uyarının asıl kaynağı çoğu zaman robots.txt değil, o adresleri üreten site yapısıdır. Adres hiç üretilmezse ya da bağlantı verilmezse Google onu keşfetmez. Bu yüzden kaynağı bulmak kalıcı çözümün anahtarıdır.
- Filtre ve sıralama parametreleri: renk, beden, fiyat aralığı gibi kombinasyonlar.
- İç arama sonuç sayfaları: site içi arama kutusunun ürettiği adresler.
- Sepete ekleme bağlantıları: e-ticaret temalarında sık görülen eylem adresleri.
- Oturum, takip ve kampanya parametreleri: aynı sayfanın sayısız kopyası.
- Eski bölümler: kapatılan ama menüde ya da içerikte bağlantısı kalan sayfalar.
- Dış siteler ve spam bağlantılar: sizin kontrolünüzde olmayan rastgele adresler.
Örneğin WooCommerce sitelerinde sepete ekleme adreslerinin dizine girmesi bilinen bir sorundur; WooCommerce add-to-cart URL rehberimiz bu kaynağı ayrıca inceler.
İç bağlantılar sorunu nasıl büyütür?
Google adresleri büyük ölçüde bağlantılar üzerinden keşfeder. Dolayısıyla engellediğiniz bir adrese sitenizin her sayfasından bağlantı veriyorsanız, Google'a aslında "bu adres önemli" mesajı gönderirsiniz.
Örnek senaryo: example.com adlı bir mağaza, her ürün kartına sıralama parametreli bir bağlantı ekliyor. Yönetici bu parametreyi robots.txt ile engelliyor. Ancak bağlantılar şablonda kaldığı için binlerce sayfa aynı adresi işaret ediyor. Sonuçta Google adresi taramadan dizine alıyor ve rapordaki uyarı sayısı artıyor.
Bu nedenle yalnızca robots.txt dosyasına bakmak yetmez. Şablonlardaki gereksiz bağlantıları kaldırmak, filtreleri form ya da kalıcı kategori yapısıyla sunmak ve parametreli bağlantıları sınırlamak uyarının kaynağını keser. Böylece hem uyarı azalır hem de tarama bütçesi asıl sayfalara kalır.
Site haritası dizine eklendi ancak engellendi uyarısını tetikler mi?
Evet, tetikleyebilir. Site haritası Google'a "bu adresler önemli, lütfen tarayın" der. Robots.txt ise aynı adresler için "girme" der. Bu çelişki uyarıyı doğrudan besler.
Bu yüzden site haritanızda yalnızca dizine girmesini istediğiniz, taramaya açık ve 200 durum kodu döndüren adresler bulunmalıdır. Engelli adresleri haritadan çıkarın. Ayrıca site haritası üreten eklentilerin etiket, yazar ya da ek dosya sayfalarını otomatik eklemediğini kontrol edin.
Haritanızı sıfırdan ve temiz kurmak isterseniz XML sitemap oluşturucu aracımızı kullanabilirsiniz. Böylece robots.txt kurallarınızla çelişmeyen bir liste elde edersiniz.
Uyarıyı düzeltirken hangi hatalardan kaçınmalısınız?
Aceleyle yapılan düzeltmeler çoğu zaman yeni bir sorun yaratır. Sahada en sık karşılaştığımız hatalar şunlardır.
- Engeli ve noindex etiketini aynı anda tutmak: Google etiketi göremez.
- Tüm robots.txt dosyasını silmek: istenmeyen binlerce adres bir anda taranmaya başlar.
- Kanonik etiketi noindex yerine kullanmak: kanonik bir öneridir, dizin yasağı değildir.
- Asıl sayfaları kapsayan geniş joker kuralları yazmak.
- Değişiklikten hemen sonra engeli geri koymak: süreç yarıda kalır.
Bu listedeki hataların çoğu robots.txt yazımındaki eksiklerden doğar. Daha geniş bir hata listesi için robots.txt hataları yazımıza bakabilirsiniz. Kanonik etiketin rolünü ise canonical etiketi rehberimiz anlatır.
Kaldırma aracı ne zaman işe yarar?
Search Console'daki kaldırma aracı geçici bir çözümdür. Bir adresi arama sonuçlarından kısa süreliğine gizler, fakat kalıcı bir dizin kuralı koymaz. Dolayısıyla tek başına bu uyarıyı çözmez.
Gizli ya da hassas bir sayfa yanlışlıkla sonuçlarda görünüyorsa aracı acil durum freni gibi kullanabilirsiniz. Ancak aynı anda kalıcı çözümü de uygulamanız gerekir: noindex, parola koruması ya da sayfanın tamamen kaldırılması. Google'ın robots.txt belgesi de bir sayfayı aramadan uzak tutmak için noindex ya da parola korumasını önerir.
Ayrıca kaldırma talebinin süresi dolduğunda adres, kalıcı bir kural yoksa yeniden sonuçlarda belirebilir. Bu yüzden talebi açtığınız gün noindex ya da parola korumasını da devreye alın ve tarihi takviminize not edin.
Gerçekten gizli kalması gereken içerik için en güvenli yol parola korumasıdır. Çünkü robots.txt herkese açık bir dosyadır; içine yazdığınız yollar, saklamak istediğiniz bölümleri başkalarına da gösterebilir.
Düzeltmeyi Search Console'da nasıl doğrularsınız?
Değişiklikleri yayına aldıktan sonra sonucu ölçmeden işi bitmiş saymayın. Doğrulama, hem sizin hem de Google'ın aynı şeyi gördüğünü gösterir.
- URL Denetimi aracında örnek bir adresi canlı olarak test edin.
- Taramaya izin verildiğini ve sayfanın beklediğiniz kuralı taşıdığını görün.
- Sayfa dizine ekleme raporunda ilgili uyarının içine girin.
- Düzeltmeyi doğrulama işlemini başlatın.
- Sonraki haftalarda uyarı ile noindex durumlarının sayısını karşılaştırın.
Doğrulama başarısız görünürse panik yapmayın. Bu durum çoğunlukla bazı adreslerin hâlâ eski kuralı taşıdığını ya da önbellekteki eski robots.txt sürümünün devrede olduğunu gösterir. Örnek adresleri tek tek yeniden test edin, kalan grubu bulun ve düzeltip doğrulamayı tekrar başlatın.
Doğrulama süresi sitenin büyüklüğüne ve tarama sıklığına göre değişir. Google bu konuda kesin bir süre vermez. Bu nedenle sabırlı olun ve aynı gün içinde ikinci bir büyük değişiklik yapmayın; aksi halde hangi adımın işe yaradığını ayırt edemezsiniz.
Uyarı sayısı neden düzeltmeden sonra hemen azalmaz?
Google adresleri kendi takvimine göre yeniden tarar. Siz engeli kaldırsanız bile Googlebot her adrese aynı gün dönmez. Özellikle seyrek ziyaret edilen sayfalar için bu süre uzayabilir.
Ayrıca bağlantılar hâlâ duruyorsa Google yeni adresler keşfetmeye devam eder. Yani raporda bir yandan eski adresler düşerken diğer yandan yenileri eklenebilir. Bu yüzden kaynağı kesmeden yalnızca sayıyı izlemek yanıltıcıdır.
Tarama sıklığının neden düştüğünü merak ediyorsanız tarama bütçesi rehberimiz hangi sitelerin bu konuya dikkat etmesi gerektiğini açıklar. Küçük sitelerde çoğunlukla sorun tarama kapasitesi değil, adres düzenidir.
Dizine eklendi ancak engellendi uyarısı sıralamaları etkiler mi?
Doğrudan bir ceza değildir. Ancak dolaylı etkileri olabilir. Açıklamasız sonuçlar kullanıcıya güven vermez. Ayrıca binlerce gereksiz adres, sitenin dizindeki görünümünü dağıtabilir ve asıl sayfaların keşfini yavaşlatabilir.
Örneğin ürün sayfalarınız yerine parametreli kopyalar bir sorguda görünmeye başlarsa, kullanıcı boş ya da ilgisiz bir sonuçla karşılaşır. Bu da tıklama oranını düşürebilir. Biz bu yüzden uyarıyı küçümsemeyi değil, kaynağını düzeltmeyi öneririz.
Dizin şişmesi olarak da bilinen bu tablo büyük sitelerde sık karşımıza çıkar. Konuyu index bloat rehberimizde ayrıntılı ele aldık. Elbette hiçbir düzeltme belirli bir sıralama sonucunu garanti etmez; amaç Google'a temiz ve tutarlı sinyal göndermektir.
Hangi URL'ler bu raporda endişe yaratmamalı?
Bazı adresler uyarıda görünse bile endişe yaratmamalıdır. Örneğin spam siteler sizin alan adınıza var olmayan adreslerle bağlantı verebilir. Bunlar sizin kontrolünüz dışındadır ve genellikle sonuçlarda değer taşımaz.
Böyle durumlarda o adreslerin 404 ya da 410 döndürmesi yeterlidir. Hepsini ana sayfaya yönlendirmek ise cazip görünse de doğru bir yol değildir; kardeş yazımız 404 sayfalarını ana sayfaya yönlendirmek doğru mu sorusunu bu açıdan yanıtlar.
Ayrıca sayfa dizine ekleme raporundaki diğer durumları da birlikte okumak gerekir. Google'ın dizine almadığı sayfaları bütün olarak incelemek için indexlenmeyen sayfaları tespit etme rehberimizi kullanabilirsiniz.
Robots.txt dosyanızı nasıl güvenli biçimde yeniden yazarsınız?
Dosyayı baştan düzenlemeniz gerekiyorsa küçük adımlarla ilerleyin. Her satırın neden orada olduğunu yazılı olarak not edin. Böylece ileride hangi kuralın hangi amaçla eklendiğini bilirsiniz.
- Yalnızca tarama yükü yaratan, düşük değerli bölümleri engelleyin.
- Sayfaları aramadan uzak tutmak için robots.txt yerine noindex kullanın.
- CSS ve JavaScript dosyalarını engellemeyin; Google sayfayı doğru görmek için onlara ihtiyaç duyar.
- Site haritası adresini dosyanın sonuna ekleyin.
- Her değişiklikten sonra canlı dosyayı kontrol edin.
Hazır bir başlangıç noktası isterseniz robots.txt oluşturucu aracımız temel kuralları hatasız biçimde üretir. Ardından kendi sitenize özgü satırları ekleyebilirsiniz.
Örnek senaryo: bir e-ticaret sitesinde sorunu nasıl çözersiniz?
Bu bölümdeki örnek tamamen kurgusaldır ve süreci somutlaştırmak için verilmiştir. example.com adlı bir mağaza, raporda yüzlerce "dizine eklendi ancak robots.txt tarafından engellendi" adresi görüyor. Adreslerin büyük kısmı sıralama ve filtre parametresi içeriyor.
İlk olarak ekip adresleri gruplara ayırıyor. Ardından filtre bağlantılarının ürün kartlarında ve kenar çubuğunda gereksiz yere çoğaldığını fark ediyor. Daha sonra şu planı uyguluyor: parametreli sayfalara noindex ekliyor, robots.txt engelini kaldırıyor, şablondaki gereksiz bağlantıları azaltıyor ve site haritasını temizliyor.
Sonraki haftalarda adresler noindex durumuna geçiyor ve uyarı sayısı kademeli olarak düşüyor. Adreslerin büyük kısmı dizinden çıktıktan sonra ekip, tarama yükünü azaltmak için hangi grubun yeniden engellenebileceğini ayrıca değerlendiriyor. Kısacası çözüm tek bir satır değil, bir süreçtir.
Dizine eklendi ancak engellendi uyarısını farklı CMS'lerde nasıl ele alırsınız?
Çözüm mantığı her platformda aynıdır, fakat uygulama yeri değişir. Bazı sistemlerde robots.txt dosyası fiziksel bir dosyadır; bazılarında ise eklenti ya da tema onu sanal olarak üretir. Bu yüzden önce dosyayı kimin yazdığını bulun.
- WordPress: SEO eklentisi ya da tema robots.txt içeriğini üretiyor olabilir; aynı ayarı iki yerde tutmayın.
- Hazır e-ticaret altyapıları: panelde ilgili bölümden şablon bazlı noindex seçeneği sunabilir; menü adları değişebildiği için platformun resmi yardım sayfasına bakın.
- Özel yazılım: noindex kuralını şablon düzeyinde ekleyin ve geliştiricinizle birlikte test edin.
WordPress özelinde doğru başlangıç dosyasını merak ediyorsanız WordPress robots.txt nasıl olmalı yazımız pratik bir şablon önerir. Böylece eklenti ile elle yazılan dosya arasındaki çakışmayı da önlersiniz.
Değişiklik öncesi hangi kontrol listesini kullanmalısınız?
Robots.txt değişikliği küçük bir iş gibi durur ama etkisi büyüktür. Tek bir eğik çizgi bütün siteyi kapatabilir. Bu nedenle yayına almadan önce kısa bir kontrol listesi çalıştırın.
- Mevcut robots.txt dosyasının bir kopyasını yerel bilgisayarınıza alın.
- Değiştireceğiniz her satırın hangi URL grubunu etkilediğini yazın.
- Ana sayfa, kategori, ürün ve blog yazısından birer örnek adresi yeni kurala göre test edin.
- Noindex eklediğiniz şablonun asıl sayfaları kapsamadığını kontrol edin.
- Değişikliği yoğun trafik saatleri dışında yayına alın ve ilk gün sonuçları izleyin.
Ek olarak, değişikliği kimin ne zaman yaptığını basit bir değişiklik günlüğüne yazın. Sorun çıktığında hangi satırı geri alacağınızı bu günlük sayesinde dakikalar içinde bulursunuz.
Bu liste beş dakikanızı alır. Buna karşılık yanlış bir kuralın asıl sayfaları dizinden düşürmesi haftalarca sürebilir. Kısacası acele etmek yerine kontrollü ilerlemek, toplamda size zaman kazandırır.
Yapay zeka arama botları bu tabloyu değiştirir mi?
Robots.txt artık yalnızca Googlebot için yazılmıyor. Pek çok site, yapay zeka şirketlerinin tarayıcılarına ayrı kurallar ekliyor. Ancak burada da aynı ilke geçerlidir: tarama yasağı, adresin başka yollarla bilinmesini engellemez.
Örneğin bir yapay zeka botunu engellediğinizde, Google'ın arama dizini için kullandığı kurallar değişmez. Kuralları yazarken her user-agent satırının yalnızca kendi botunu etkilediğini unutmayın. Yanlış gruplanan bir kural, istemeden Googlebot'u da kapsayabilir.
Üstelik çok sayıda bot kuralı dosyayı okunması zor hale getirir. Hangi botun neyi taradığını ve nasıl yönetileceğini AI crawler ve llms.txt rehberimizde ayrıntılı anlattık. Dosyayı düzenli tutmak, bu uyarının yeniden ortaya çıkma ihtimalini de azaltır.
Log kayıtları sorunun kaynağını gösterebilir mi?
Evet, sunucu erişim kayıtları güçlü bir ipucu verir. Search Console size Google'ın gördüğü adresleri gösterir; log kayıtları ise Googlebot'un sitenize gerçekte hangi istekleri gönderdiğini anlatır. İkisini birlikte okumak, tahmin yerine kanıtla çalışmanızı sağlar.
Örneğin log kayıtlarında Googlebot'un engelli bir klasöre hiç istek göndermediğini, fakat o klasördeki adreslerin raporda dizinde durduğunu görürsünüz. Bu tablo, adreslerin bağlantılar üzerinden keşfedildiğini doğrular. Ardından o bağlantıların hangi şablondan geldiğini aramaya başlarsınız.
- Engelli klasörlere gelen bot isteklerini ayrı bir listede toplayın.
- Aynı adreslerin hangi iç sayfalardan bağlantı aldığını tarama aracıyla bulun.
- Değişiklikten sonra isteklerin noindex eklenen sayfalara yönelip yönelmediğini izleyin.
Kayıtları incelerken yalnızca gerçek Googlebot isteklerine bakın; kendini Googlebot gibi tanıtan sahte botlar tabloyu yanıltabilir. Google, gerçek tarayıcısını doğrulamanın yöntemlerini resmi belgelerinde açıklar.
Log erişiminiz yoksa barındırma sağlayıcınızdan bu kayıtları isteyebilirsiniz. Ancak kayıtlar kişisel veri içerebileceği için saklama ve paylaşma kurallarına dikkat edin.
Uyarının tekrar ortaya çıkmasını nasıl önlersiniz?
Sorunu bir kez çözmek yetmez; site büyüdükçe yeni şablonlar ve yeni parametreler eklenir. Bu yüzden önleyici bir düzen kurmak, aynı uyarıyla birkaç ay sonra yeniden karşılaşmanızı engeller.
- Her yeni şablon ya da eklenti öncesinde ürettiği adresleri listeleyin.
- Robots.txt değişikliklerini tek bir kişinin onayına bağlayın ve nedenini kaydedin.
- Sayfa dizine ekleme raporunu ayda en az bir kez gözden geçirin.
- Site haritasının yalnızca dizine açık adresleri içerdiğini düzenli olarak kontrol edin.
Üstelik bu düzen yalnızca bu uyarıyı değil, kanonik hatalarını ve soft 404 sorunlarını da erken yakalamanıza yardım eder. Kısacası düzenli bir teknik bakım, tek seferlik müdahaleden çok daha ucuza gelir ve sitenizin dizin sağlığını uzun vadede korur.
Bu sorunu ne zaman profesyonel destekle çözmelisiniz?
Birkaç adreslik bir uyarıyı çoğu site sahibi kendisi çözebilir. Ancak binlerce adres, birden fazla şablon ve karmaşık parametre yapıları söz konusuysa yanlış bir kural asıl sayfaları da etkileyebilir.
Özellikle şu durumlarda dışarıdan destek almak mantıklıdır: tema ya da eklenti adresleri kontrolsüz üretiyorsa, site taşıma sonrası uyarılar arttıysa veya ekibinizde robots.txt ve şablon değişikliğini birlikte yönetecek biri yoksa.
Ayrıca ekibinizde içerik, geliştirme ve pazarlama farklı kişilerdeyse robots.txt kararları kolayca dağılır. Tek bir sorumlu ve yazılı bir kural listesi olmadan aynı uyarı birkaç ayda bir geri döner. Böyle yapılarda dışarıdan bir göz, süreci düzene sokmanın en kısa yoludur.
Talha Aslan ve ekibi olarak bu tür teknik dizin sorunlarını kaynağından ele alıyoruz: adresleri grupluyor, kuralları yeniden yazıyor ve doğrulamayı raporla takip ediyoruz. Sitenizin durumuna göre bir plan için SEO danışmanlığı sayfamızdan teklif isteyebilirsiniz. Elbette belirli bir sıralama garantisi vermiyoruz; temiz ve ölçülebilir bir dizin yapısı sunmayı hedefliyoruz.
Temel rehber: Dijital Pazarlama Nedir? Türleri, örnekleri ve nasıl yapıldığı, beynin içinden geçen etkileşimli bir filmle tek sayfada.



