WordPress Robots.txt Nasıl Olmalı? Engellenmemesi Gereken Klasörler

WordPress robots.txt dosyası çoğu sitede kimsenin açıp bakmadığı küçük bir metindir. Ancak tek bir yanlış satır, Google'ın temanızın stil dosyalarını görmesini engeller ve sayfalarınızı bozuk bir halde değerlendirmesine yol açar. Bu rehberde Talha Aslan ve ekibi olarak WordPress'in bu dosyayı nasıl ürettiğini, hangi klasörlere asla dokunmamanız gerektiğini ve güvenli bir başlangıç düzenini adım adım anlatıyoruz. Satırları elle yazmak istemiyorsanız ücretsiz robots.txt oluşturucu ile birkaç tıkla temiz bir taslak çıkarabilirsiniz.

Yani iyi bir dosya, ne kadar çok şeyi yasakladığıyla değil, ne kadar az hata içerdiğiyle ölçülür. Sahada en sık gördüğümüz sorun eksik kural değil, fazla kuraldır. Eski bir rehberden kopyalanan uzun listeler, bugün Google'ın sayfayı işlemek için ihtiyaç duyduğu kaynakları kapatabiliyor. Bu nedenle yazının geri kalanında her satırın neden orada olduğunu tek tek açıklıyoruz. Genel kavramlara yabancıysanız önce robots.txt nedir ve nasıl oluşturulur yazımıza göz atmanızı öneririz; burada yalnız WordPress'e özgü kısma odaklanıyoruz.

WordPress robots.txt dosyası neden sunucuda görünmüyor?

Birçok site sahibi alan adının sonuna robots.txt yazınca bir içerik görür, ama dosya yöneticisinde böyle bir dosya bulamaz. Bunun nedeni basittir: WordPress, kök dizinde fiziksel bir robots.txt dosyası yoksa bu isteği kendisi karşılar ve içeriği anlık olarak üretir. WordPress geliştirici belgelerinde bu işi do_robots adlı fonksiyonun yaptığını görebilirsiniz (WordPress resmi belgesi).

Dolayısıyla ortada iki farklı durum vardır. Birincisi sanal dosyadır; WordPress ve eklentiler içeriğini kod üzerinden belirler. İkincisi fiziksel dosyadır; sunucunuza bir robots.txt yüklediğinizde web sunucusu bu dosyayı doğrudan sunar ve WordPress devreye girmez. Örneğin bir eklentide yaptığınız değişiklik canlı adreste görünmüyorsa, büyük olasılıkla kökte unutulmuş eski bir fiziksel dosya vardır. Üstelik bu durum özellikle site taşıma ve tema değişikliklerinden sonra sık yaşanır.

• Adres çalışıyor ama dosya yoksa: sanal dosya kullanıyorsunuz.
• Dosya var ve eklenti ayarı yansımıyorsa: fiziksel dosya önceliği alıyor.
• İkisi de yoksa ve adres 404 veriyorsa: kalıcı bağlantı ya da sunucu yönlendirme ayarlarını kontrol edin.

Sanal WordPress robots.txt varsayılan olarak hangi satırları içerir?

WordPress'in kendi ürettiği içerik çok sadedir. İlk satır tüm botlara seslenen User-agent: * satırıdır. Ardından yönetim paneli yolunu kapatan bir Disallow satırı ve admin-ajax.php dosyasını açan bir Allow satırı gelir. WordPress bu yolları sitenizin yönetim adresinden hesaplar; dolayısıyla WordPress bir alt klasöre kuruluysa yol da o klasörü içerir.

Ayrıca WordPress'in yerleşik site haritası özelliği açıksa, çekirdek bu çıktıya bir Sitemap satırı da ekleyebilir. Bir SEO eklentisi kendi site haritasını kullanıyorsa, satırı çoğu zaman eklenti yönetir. Kısacası varsayılan çıktı zaten makul bir başlangıçtır. Biz de çoğu WordPress robots.txt kurulumunda bu çekirdeği koruyup yalnız gerçekten gereken birkaç satırı ekliyoruz.

Burada küçük ama önemli bir ayrıntı var: robots.txt kuralları büyük ve küçük harfe duyarlıdır. Yani wp-admin ile WP-Admin aynı yol sayılmaz. Bu yüzden yolları elle yazarken WordPress'in gerçekte kullandığı biçimi aynen kopyalayın.

admin-ajax.php istisnası neden var?

Yönetim paneli botlar için değerli bir içerik barındırmaz; bu yüzden wp-admin klasörünü kapatmak mantıklıdır. Ancak admin-ajax.php dosyası bu klasörde durduğu halde yalnız yöneticiler için çalışmaz. Birçok tema ve eklenti, ziyaretçinin gördüğü sayfada formları, filtreleri, sepet parçalarını veya "daha fazla yükle" düğmelerini bu dosya üzerinden çalıştırır.

Örneğin bir ürün listesi, sayfa açıldıktan sonra bu dosyaya istek atarak dolar. Klasörün tamamını kapatıp istisna tanımlamazsanız, Google sayfayı işlerken bu isteği yapamaz ve içeriğin bir kısmını görmeyebilir. İşte bu nedenle WordPress, varsayılan çıktıya Allow: /wp-admin/admin-ajax.php satırını kendisi koyar. Kendi dosyanızı yazıyorsanız bu istisnayı korumanız gerekir.

Peki Google çakışan iki kuralı nasıl çözer? Bir sonraki bölümlerde ayrıntısına giriyoruz; ama kısa cevap şudur: daha uzun, yani daha belirli kural kazanır. Allow satırı daha uzun bir yolu tarif ettiği için Disallow satırını o dosya özelinde geçersiz kılar.

wp-content ve wp-includes neden engellenmemeli?

Eski WordPress rehberlerinde sık görülen bir öneri, wp-content ve wp-includes klasörlerini tamamen kapatmaktı. Bugün bu öneri ciddi bir hatadır. Temanızın stil dosyaları, yazı tipleri, görselleriniz ve etkileşimli parçaları çalıştıran JavaScript dosyaları bu klasörlerde durur. Google ise sayfaları bir tarayıcı gibi işleyerek değerlendirir.

Google'ın resmi robots.txt belgesi, sayfanın anlaşılmasını zorlaştıracak kaynakları engellememeniz gerektiğini açıkça belirtir (Google Search Central). Kaynaklar kapalıysa Google sayfanızı stilsiz, dağınık ya da içeriği eksik bir halde görebilir. Bunun sonucu olarak mobil uyumluluk ve içerik algısı zarar görebilir.

• wp-content/themes: tema stil ve betik dosyaları buradadır.
• wp-content/uploads: görselleriniz buradadır; kapatırsanız görsel aramada da görünmezler.
• wp-content/plugins: eklentilerin ön yüz dosyaları buradadır.
• wp-includes: WordPress'in ortak JavaScript kütüphaneleri buradadır.

Kısacası bu klasörlere hiçbir Disallow satırı yazmayın. Belirli bir eklenti klasörü gerçekten gereksiz istek üretiyorsa bile önce sorunun kaynağını inceleyin; toptan engelleme neredeyse her zaman daha fazla zarar verir.

Google WordPress robots.txt kurallarını nasıl okur?

Google'ın robots.txt belirtimi birkaç temel kurala dayanır (Google robots.txt belirtimi). Her şeyden önce Google, kendisine en uygun User-agent grubunu seçer ve yalnız o grubun kurallarını uygular. Örneğin hem User-agent: * hem de User-agent: Googlebot grubu varsa, Googlebot yalnız kendi adının geçtiği grubu dikkate alır.

Ardından aynı adres için çakışan Allow ve Disallow kuralları varsa, yol uzunluğu en fazla olan kural geçerli olur. Uzunluklar eşitse Google daha az kısıtlayıcı olanı, yani Allow kuralını seçer. Ayrıca Google'ın dosya için bir boyut sınırı vardır ve dosyayı belirli aralıklarla önbelleğe alır. Güncel sınır ve önbellek süresini Google'ın belgesinden kontrol edin.

• En belirli grup kazanır: Googlebot için ayrı grup açarsanız genel grubun kuralları ona uygulanmaz.
• En uzun yol kazanır: admin-ajax.php istisnası bu sayede çalışır.
• Google robots.txt içindeki noindex ya da crawl-delay satırlarını desteklemez.
• Yollar büyük ve küçük harfe duyarlıdır.

Bu kuralları bilmek, özellikle ayrı bot grupları açtığınızda önemlidir. Sahada en sık karşılaştığımız hata, Googlebot için ayrı grup açıp wp-admin kuralını o gruba eklemeyi unutmaktır.

Güvenli WordPress robots.txt satırları hangileridir?

Aşağıdaki tablo, standart bir WordPress sitesinde güvenle kullanabileceğiniz ve kaçınmanız gereken satırları özetliyor. Tablo bir kontrol listesi olarak düşünülmeli; her sitenin özel ihtiyacı farklı olabilir.

Tablodaki örnek alan adı yalnız örnektir; kendi alan adınızı ve site haritanızın gerçek adresini yazın. Sitemap satırında göreli yol değil, protokolü içeren tam adres kullanmalısınız.

Arama sonuçları ve etiket sayfaları robots.txt ile mi engellenmeli?

WordPress'in iç arama sonuçları, etiket arşivleri ve ince içerikli tarih arşivleri gerçekten dizinde istemeyeceğiniz sayfalar olabilir. Ancak bunları robots.txt ile kapatmak beklediğiniz sonucu vermez. Robots.txt taramayı durdurur, dizine eklemeyi değil. Google, başka sitelerden link alan engelli bir adresi içeriğini görmeden de dizine ekleyebilir.

Üstelik sayfayı engellerseniz Google sayfadaki noindex etiketini de göremez. Bu yüzden dizinden çıkarmak istediğiniz sayfalarda doğru yöntem, sayfanın taranabilir kalması ve noindex etiketi taşımasıdır. İki yöntemin farkını noindex, nofollow ve robots.txt karşılaştırması yazımızda ayrıntılı anlattık.

1. İç arama sonuçları: SEO eklentinizle noindex yapın.
2. Etiket arşivleri: değerli değilse noindex yapın ya da etiket kullanımını sadeleştirin.
3. Ek (attachment) sayfaları: ana dosyaya yönlendirin.

Ek sayfaları konusunda WordPress ek sayfaları ve SEO yazımız daha fazla ayrıntı içeriyor. Robots.txt'yi ise asıl işi olan tarama bütçesi yönetimi için saklayın.

"Arama motorlarının siteyi dizine eklemesini engelle" ayarı ne yapar?

WordPress'in Okuma ayarlarında yer alan bu kutu, birçok site sahibinin robots.txt ile karıştırdığı bir ayardır. WordPress belgelerine göre eski sürümlerde bu kutu işaretliyken sanal robots.txt çıktısına tüm siteyi kapatan bir satır eklenirdi. Daha yeni sürümlerde bu davranış kaldırıldı; WordPress bunun yerine sayfalara robots meta etiketiyle noindex bilgisi ekliyor.

Yani kutu işaretliyse robots.txt dosyanız masum görünebilir ama sitenizin tamamı noindex durumundadır. Özellikle geliştirme ortamından canlıya geçişte bu kutunun açık unutulması çok sık yaşanır. Sorunu yaşıyorsanız dizine eklemeyi engelle ayarı açık kaldıysa ne yapmalı yazımızdaki adımları izleyin.

Bu nedenle bir WordPress robots.txt denetimi yaparken yalnız dosyaya değil, Okuma ayarlarına ve sayfa kaynağındaki robots meta etiketine de bakın. Dosya temiz, ayar açıksa sorun dosyada değildir.

SEO eklentinizin robots.txt düzenleyicisini nasıl kullanmalısınız?

Yaygın SEO eklentilerinin birçoğu yönetim panelinden robots.txt içeriğini düzenlemenize izin verir. Bu düzenleyiciler genellikle iki biçimde çalışır. Bazıları sanal çıktıyı değiştirir; bazıları ise kök dizine fiziksel bir dosya yazar. Hangisinin geçerli olduğunu eklentinizin belgesinden öğrenin.

Pratikte dikkat etmeniz gereken nokta şudur: aynı anda yalnız bir yöntem kullanın. Örneğin eklentide düzenleme yaparken kökte eski bir fiziksel dosya duruyorsa, değişiklikleriniz canlıya yansımaz. Ayrıca iki farklı eklentinin aynı çıktıya satır eklemesi, mükerrer Sitemap satırları gibi kafa karıştırıcı sonuçlar doğurabilir. Eklenti seçimi konusunda kararsızsanız SEO eklentisi karşılaştırma yazımız yol gösterebilir.

1. Değişiklikten önce mevcut çıktının bir kopyasını alın.
2. Düzenleyiciye yalnız ihtiyacınız olan satırları yazın.
3. Kaydettikten sonra canlı adresi tarayıcıda açıp sonucu doğrulayın.

Fiziksel dosya mı, sanal dosya mı kullanmalısınız?

İki yöntemin de yeri var. Sanal dosya, WordPress'in yolları otomatik hesaplaması ve eklentilerin Sitemap satırını kendi yönetmesi sayesinde bakımı kolaydır. Fiziksel dosya ise tam kontrol sağlar; ancak site taşındığında ya da alt klasör değiştiğinde elle güncellemeniz gerekir.

Bizim önerimiz çoğu küçük ve orta ölçekli site için sanal dosyadır. Çok dilli yapılar, karmaşık filtreler ya da özel bot kuralları gerekiyorsa fiziksel dosya mantıklı hale gelebilir. Her iki durumda da tek bir doğruluk kaynağı bırakın.

WordPress robots.txt adım adım nasıl kurulur?

Aşağıdaki sırayı izlerseniz hem güvenli hem de bakımı kolay bir dosya elde edersiniz. Adımlar, sitenizi bozmadan ilerlemeniz için tasarlandı.

1. Alan adınızın sonuna /robots.txt ekleyip mevcut çıktıyı açın ve bir kopyasını kaydedin.
2. Dosya yöneticisinden kök dizinde fiziksel bir robots.txt olup olmadığını kontrol edin.
3. Okuma ayarlarındaki dizine eklemeyi engelle kutusunun işaretsiz olduğundan emin olun.
4. Yeni içeriği robots.txt oluşturucu aracımızla hazırlayın; wp-admin kuralını, admin-ajax.php istisnasını ve site haritası adresini ekleyin.
5. İçeriği tek bir yerde uygulayın: ya SEO eklentinizin düzenleyicisinde ya da fiziksel dosyada.
6. Canlı adresi yeniden açıp yeni satırların göründüğünü doğrulayın.
7. Search Console'daki robots.txt raporuyla Google'ın dosyayı nasıl okuduğunu kontrol edin.

Son adım için Search Console robots.txt raporu nasıl okunur yazımız rehberlik eder. Böylece değişikliğin Google tarafında da doğru algılandığını görürsünüz.

Sitemap satırı WordPress robots.txt dosyasına nasıl eklenir?

Sitemap satırı Google'a site haritanızın yerini söyler. Satır herhangi bir User-agent grubuna bağlı değildir; dosyanın herhangi bir yerinde durabilir. Ancak okunabilirlik için genellikle en alta koyarız. Adres mutlaka tam olmalıdır; yani protokol ve alan adını içermelidir.

WordPress'in yerleşik site haritası ya da SEO eklentinizin site haritası aynı anda çalışıyorsa, hangisini kullandığınıza karar verin ve robots.txt'de yalnız onu gösterin. Birden fazla site haritanız varsa birden fazla Sitemap satırı yazabilirsiniz. Site haritanız yoksa ya da yenilemek istiyorsanız XML sitemap oluşturucu işinizi kolaylaştırır.

Öte yandan Sitemap satırı tek başına dizine eklemeyi garanti etmez. Yalnız Google'ın adreslerinizi keşfetmesine yardım eder. Bu yüzden site haritasını Search Console'a ayrıca göndermeniz iyi bir alışkanlıktır.

Hangi WordPress adresleri robots.txt dosyasına hiç girmemeli?

Bazı satırlar ilk bakışta güvenlik önlemi gibi görünse de aslında zarar verir. Örneğin giriş sayfasını ya da gizli bir yönetim adresini robots.txt'ye yazmak, o adresi herkese ilan etmek anlamına gelir. Robots.txt herkese açık bir dosyadır ve kötü niyetli botlar kurallara uymaz.

• Gizli tutmak istediğiniz yönetim veya giriş adresleri.
• wp-content, wp-includes ve uploads klasörleri.
• Dizinden çıkarmak istediğiniz ama noindex taşıyan sayfalar.
• Kanonik etiketle zaten yönettiğiniz kopya adresler.

Dolayısıyla güvenlik için robots.txt'ye değil, güçlü şifre, iki adımlı doğrulama ve güncel eklentilere güvenin. Kopya içerik ve parametreli adres sorunlarında ise kanonik etiket çoğu zaman daha doğru araçtır. Filtre sayfaları gibi özel durumlar için faceted navigation ve robots.txt yazımıza bakabilirsiniz.

Joker karakterleri WordPress'te ne zaman kullanmalısınız?

Google, robots.txt kurallarında yıldız ve dolar işaretini destekler. Yıldız herhangi bir karakter dizisini, dolar işareti ise adresin sonunu temsil eder. WordPress'te bu işaretler en çok sınırsız parametre üreten adresleri kontrol altına almak için işe yarar. Örneğin sıralama ya da filtre parametreleri binlerce adres üretiyorsa, taramayı bu adreslere harcamamak isteyebilirsiniz.

Ancak joker karakterler hatalı yazıldığında beklenenden çok daha geniş bir alanı kapatabilir. Bu nedenle her joker kuralı yazdıktan sonra birkaç gerçek adresle test edin. Ayrıntılı örnekler için robots.txt joker karakterler rehberimiz size yardımcı olur.

Kısacası standart bir kurumsal WordPress sitesi çoğu zaman joker karaktere hiç ihtiyaç duymaz. E-ticaret ve filtreli kataloglarda ise dikkatli ve ölçülü kullanın.

Değişiklikten sonra robots.txt nasıl test edilmeli?

Test aşaması atlanırsa küçük bir yazım hatası haftalarca fark edilmeden kalabilir. İlk olarak canlı adresi tarayıcıda açın ve dosyanın düz metin olarak, beklediğiniz satırlarla geldiğini görün. Ardından Search Console'daki robots.txt raporunda Google'ın en son hangi sürümü aldığını ve hata olup olmadığını kontrol edin.

Sonra URL Denetleme aracıyla önemli birkaç sayfanızı test edin ve oluşturulan sayfa görünümünde stil dosyalarının yüklendiğinden emin olun. Böylece CSS ya da JavaScript dosyalarını yanlışlıkla engelleyip engellemediğinizi hemen görürsünüz. Ayrıca en sık yapılan hataların listesi için robots.txt hataları yazımızı bir kontrol listesi olarak kullanabilirsiniz.

• Canlı adres düz metin mi dönüyor?
• admin-ajax.php açık mı?
• Tema dosyaları oluşturulan sayfada yükleniyor mu?
• Sitemap satırı doğru adresi gösteriyor mu?

Yapay zeka tarayıcıları için ayrı kural gerekir mi?

Bazı site sahipleri, içeriklerinin yapay zeka modellerini eğitmek için kullanılmasını istemez. Bu tarayıcıların bir kısmı kendi User-agent adlarıyla robots.txt kurallarına uyduklarını belirtir. Dolayısıyla isterseniz WordPress robots.txt dosyanıza bu botlar için ayrı gruplar ekleyebilirsiniz.

Ancak burada önceki bölümdeki kural yeniden önem kazanır: ayrı bir grup açtığınız bot, genel gruptaki kuralları uygulamaz. Bu yüzden ayrı grup açarken ihtiyaç duyduğunuz kuralları o gruba da yazın. Hangi botun hangi amaçla çalıştığını ve nasıl ayırt edeceğinizi yapay zeka tarayıcıları ve robots.txt yazımızda anlattık. Kararı verirken arama görünürlüğünüzü etkileyebilecek botları kapatmamaya özen gösterin.

Çok dilli ya da alt klasörlü kurulumlarda nelere dikkat etmelisiniz?

Robots.txt yalnız alan adının kökünde geçerlidir. Yani WordPress bir alt klasörde çalışıyorsa bile Google dosyayı alt klasörde değil, alan adının kökünde arar. Bu durumda kökteki dosyanın WordPress'in yollarını doğru göstermesi gerekir.

Ayrıca her alt alan adı kendi robots.txt dosyasına sahiptir. Örneğin blog bir alt alan adında, mağaza ana alan adındaysa iki ayrı dosya yönetirsiniz. Çok dilli sitelerde ise dil klasörlerini engellemek neredeyse hiçbir zaman doğru değildir; dil sürümlerini hreflang etiketleriyle yönetin. Kısacası her ortamın kökünü ayrı ayrı kontrol edin.

Geliştirme ve test ortamlarında ise durum tersidir. Orada tüm siteyi kapatmak mantıklı olabilir; ama canlıya alırken bu satırı kaldırmayı unutmayın. Bu hata, taşıma sonrası trafik kayıplarının en sık nedenlerinden biridir.

WooCommerce kullanan WordPress robots.txt dosyası farklı mı olmalı?

WooCommerce kurulu bir sitede temel düzen değişmez; wp-admin kapalı, admin-ajax.php açık ve tema dosyaları erişilebilir kalmalıdır. Ancak mağazalar daha fazla dinamik adres üretir. Sepet, ödeme ve hesabım sayfaları ziyaretçiye özeldir ve arama sonuçlarında bir değer taşımaz. Üstelik sepete ekleme bağlantıları parametreli adresler üretir ve bu adresler tarama bütçesini boşa harcayabilir.

Bu nedenle mağazalarda iki yaklaşımı birlikte düşünürüz. Birincisi, sepet ve ödeme gibi kişisel sayfalarda noindex kullanmaktır; birçok SEO eklentisi bunu zaten yapar. İkincisi, gerçekten sınırsız adres üreten parametreler için ölçülü bir Disallow kuralı yazmaktır. Örneğin sepete ekleme parametresi içeren adresleri kapatmak, ürün sayfalarının kendisine dokunmadan gereksiz taramayı azaltır.

Öte yandan ürün görsellerini ve kategori sayfalarını asla kapatmayın. Bunlar mağazanın arama trafiğini taşıyan sayfalardır. Kısacası mağazada da kural aynıdır: ziyaretçiye değer sunan her şeyi açık bırakın, yalnız sonsuz kopya üreten adresleri sınırlayın.

Robots.txt hatası trafiği nasıl düşürür, nasıl fark edersiniz?

Robots.txt hatalarının en sinsi yanı, sitenin ziyaretçiye tamamen normal görünmesidir. Sayfalar açılır, formlar çalışır, ama Google arka planda sayfaları göremez. Bu yüzden belirtileri genellikle Search Console verilerinde fark edersiniz. Örneğin gösterim sayısı birkaç gün içinde belirgin biçimde düşer ya da sayfa dizine ekleme raporunda robots.txt tarafından engellendi uyarısı artar.

Bir diğer belirti, arama sonuçlarında açıklaması olmayan adreslerdir. Google bir sayfayı dizinde tutar ama içeriğini göremezse sonuçta açıklama yerine bilgi bulunmadığını belirten benzeri bir uyarı gösterebilir. Böyle bir tablo gördüğünüzde ilk olarak robots.txt dosyanızı ve son değişiklik tarihini kontrol edin.

• Gösterimlerde ani ve açıklanamayan düşüş.
• Dizin raporunda robots.txt kaynaklı engelleme artışı.
• Oluşturulan sayfa görünümünde stilsiz ekran.
• Arama sonucunda açıklaması olmayan sonuçlar.

Dolayısıyla her büyük tema, eklenti ya da sunucu değişikliğinden sonra robots.txt çıktısını kontrol listenize ekleyin. Bu basit alışkanlık, haftalarca sürebilecek bir görünürlük kaybını erken yakalamanızı sağlar.

Robots.txt dosyasındaki eski satırlar sorun çıkarır mı?

Uzun süredir yayında olan WordPress sitelerinde robots.txt dosyası çoğu zaman katman katman büyür. Her yeni eklenti, her danışman ya da her forum önerisi bir satır ekler ve kimse eski satırları silmez. Sonuçta dosyada artık var olmayan klasörlere ait kurallar, yazım hataları ve Google'ın desteklemediği satırlar birikir.

Örneğin crawl-delay satırını Google dikkate almaz; robots.txt içine yazılan noindex satırını da desteklemez. Bu satırlar zararsız görünse de size yanlış bir güven duygusu verir. Ayrıca artık kullanılmayan bir eklentinin klasörünü kapatan kural, ileride aynı adı taşıyan yeni bir yapıyı farkında olmadan engelleyebilir.

Bu yüzden yılda en az bir kez dosyayı satır satır gözden geçirin. Her satır için kendinize basit bir soru sorun: bu kural bugün hangi sorunu çözüyor? Cevap veremiyorsanız satırı kaldırın ve sonucu Search Console üzerinden izleyin. Böylece dosyanız kısa, okunur ve güvenli kalır. Değişiklikleri küçük bir not dosyasında tarihleriyle tutmak da ileride hangi kuralın neden eklendiğini hatırlamanızı kolaylaştırır; özellikle ekipte birden fazla kişi siteye dokunuyorsa bu not çok işe yarar.

Kısa kontrol listesi: güvenli bir başlangıç düzeni

Yazıyı tek bir listeye indirirsek, standart bir WordPress robots.txt dosyası için şu düzen çoğu sitede güvenli bir başlangıçtır. Her maddeyi kendi sitenizin ihtiyaçlarına göre değerlendirin.

1. Tüm botlar için tek bir genel grup açın.
2. wp-admin yolunu kapatın, admin-ajax.php istisnasını koruyun.
3. wp-content ve wp-includes klasörlerine dokunmayın.
4. Site haritanızı tam adresle gösterin.
5. Dizinden çıkarmak istediğiniz sayfalar için noindex kullanın.
6. Değişiklikten sonra Search Console ile test edin.

Teknik SEO'nun bu ve benzeri parçalarını birlikte ele almak isterseniz SEO danışmanlığı hizmetimiz kapsamında sitenizin tarama ve dizine ekleme yapısını uçtan uca inceliyoruz. Ancak çoğu WordPress sitesi için yukarıdaki kısa düzen ve düzenli bir test alışkanlığı yeterli olacaktır.

Temel rehber: Dijital Pazarlama Nedir? Türleri, örnekleri ve nasıl yapıldığı, beynin içinden geçen etkileşimli bir filmle tek sayfada.