Araçlar
Robots.txt Oluşturucu
Sitenize özel robots.txt dosyasını saniyeler içinde oluşturun: hazır şablonlar, satır satır kural editörü, yapay zekâ botu engelleme, sitemap desteği ve adres testi. Ücretsiz, kayıt yok.
Çıktıyı robots.txt adıyla kaydedip kök dizine yükleyin; dosya https://siteniz.com/robots.txt adresinden açılmalı. Alt dizindeki dosya dikkate alınmaz, her alt alan adı kendi dosyasını kullanır.
Sonuç
Bir yol yazın; kurallarınıza göre sonucu anında görün.
- Dijital Pazarlama Uzmanı
- Google Partner
- Full Stack Developer
- Son güncelleme
- Dayanak
- 5 kaynak
Robots.txt Oluşturucu nasıl kullanılır?
- Bir şablonla başlayın
Üst şeritten Tümüne izin ver, Tümünü engelle, WordPress ya da WooCommerce şablonunu seçin. Şablon kural satırlarını doldurur, siz de ardından istediğiniz gibi düzenlersiniz.
- Kuralları satır satır yazın
Her satıra User-agent, kural tipi ve yol girin. Aynı bota ait satırları araç tek grupta toplar; başında eğik çizgi olmayan yolu da kendisi düzeltir.
- Yapay zekâ botlarını seçin
Engellemek istediğiniz botları işaretleyin. Araç bu botları ayrı bir grupta Disallow: / ile yazar; etiketler hangisinin eğitim, hangisinin arama botu olduğunu gösterir.
- Sitemap adreslerini ekleyin
Her satıra bir tam adres yazın. Araç her adresi dosyanın sonuna ayrı bir Sitemap satırı olarak ekler ve göreli yolu kritik hata diye işaretler.
- Adresleri test edin
Test alanına bir yol ve bot adı yazın. Sonuç, adresin o bot için taranabilir olup olmadığını ve kararı veren kuralı hemen gösterir.
- Kopyalayın ya da indirin
Kopyala veya İndir düğmesiyle dosyayı alın, sitenizin kök dizinine yükleyin ve Search Console robots.txt raporundan kontrol edin.
Araç kuralları nasıl değerlendirir?
Test alanı, Google'ın belgelediği ve RFC 9309 standardında tanımlanan eşleşme mantığını uygular. Karar üç adımda çıkar: önce grup, sonra kural, en son eşitlik durumu.
Bot kendi adını taşıyan grubu uygular; böyle bir grup yoksa User-agent: * grubunu, o da yoksa her adrese izin verirAdrese uyan kurallardan yolu en uzun olan kazanır; satırların dosyadaki sırası önemli değildirAynı uzunlukta Allow ile Disallow çakışırsa Allow kazanır* sıfır veya daha fazla karakterin yerini tutar: /*.pdf, içinde .pdf geçen her adrese uyar$ yolun bitişini sabitler: /*.pdf$ yalnız .pdf ile biten adreslere uyarYol içermeyen Disallow: satırı hiçbir şeyi engellemez; /robots.txt adresi ise her zaman okunabilirYollar büyük/küçük harfe duyarlıdır, User-agent adları değildir. Diğer botlar söz dizimini farklı yorumlayabilir; test sonucu Google ve standarda uyan botlar için geçerlidir.
Örnek kurallar ve test sonuçları
Aşağıdaki satırlar örnek senaryodur; aynı kuralları araca yazıp yolu test alanına girdiğinizde birebir aynı sonucu görürsünüz.
| Kurallar | Bot | Test edilen yol | Sonuç |
|---|---|---|---|
| Disallow: /wp-admin/ ve Allow: /wp-admin/admin-ajax.php | Googlebot | /wp-admin/admin-ajax.php | Taranabilir: Allow daha uzun |
| Disallow: /wp-admin/ ve Allow: /wp-admin/admin-ajax.php | Googlebot | /wp-admin/options.php | Engelli: Disallow: /wp-admin/ |
| Disallow: /sepet | Googlebot | /sepetim/ | Engelli: önek eşleşmesi |
| Disallow: /*.pdf$ | Googlebot | /katalog.pdf?v=2 | Taranabilir: adres .pdf ile bitmiyor |
| User-agent: GPTBot ve Disallow: / | Googlebot | /blog/ | Taranabilir: Googlebot için grup yok |
| User-agent: GPTBot ve Disallow: / | GPTBot | /blog/ | Engelli: Disallow: / |
| Disallow: /Blog/ | Googlebot | /blog/yazi/ | Taranabilir: harf duyarlılığı |
Kurallar aksi yazmadıkça User-agent: * grubundadır. Sonuç sütunundaki ilk kelime, aracın test rozetinde gördüğünüz sonuçtur.
Yapay zekâ botları ve engellemenin etkisi
Araçtaki altı botun resmi belgelere göre ne işe yaradığı ve Disallow: / yazdığınızda ne değiştiği:
| User-agent | Şirket | Kullanım amacı | Engellerseniz |
|---|---|---|---|
| GPTBot | OpenAI | Üretken yapay zekâ modellerinin eğitimi | İçeriğiniz eğitim taramasına girmez; ChatGPT aramasındaki durumunuz değişmez |
| OAI-SearchBot | OpenAI | ChatGPT arama özelliklerinde siteleri göstermek | ChatGPT arama cevapları sitenizi göstermez |
| ClaudeBot | Anthropic | Model eğitimi ve geliştirme | İçeriğiniz Anthropic'in eğitim taramasına girmez |
| Google-Extended | Gemini eğitimi ve grounding, yani yanıtı arama verisiyle destekleme | Google Aramadaki yeriniz ve sıralamanız değişmez | |
| CCBot | Common Crawl | Herkese açık bir web arşivi oluşturmak | Yeni taramalarda siteniz arşive girmez |
| PerplexityBot | Perplexity | Perplexity arama sonuçlarında siteleri göstermek; model eğitimi için değil | Perplexity cevaplarında kaynak olma şansınızı kaybedersiniz |
Kaynak: OpenAI, Anthropic, Google, Common Crawl ve Perplexity'nin bot belgeleri. Kullanıcı isteğiyle çalışan bazı botlar, örneğin Perplexity-User, robots.txt kurallarını genelde uygulamaz. Bot adları ve amaçları değişebilir; karar vermeden önce güncel belgeleri kontrol edin.
Robots txt oluşturucu nedir, bu araç neyi hazırlar?
Robots.txt oluşturucu, arama motoru ve yapay zekâ botlarına sitenizin hangi yollarını tarayabileceklerini söyleyen robots.txt dosyasını hatasız yazmanızı sağlayan araçtır. Bu sayfadaki araç dört hazır şablonla başlar, kuralları satır satır düzenlemenize izin verir ve çıktıyı anında üretir. Ayrıca aynı User-agent'a ait satırları tek grupta toplar, başında eğik çizgi olmayan yolları düzeltir ve sitemap adreslerini dosyanın sonuna ekler.
Sağ sütunda üç yardımcı daha var. Rozet ve uyarı listesi tüm siteyi kapatan satırı, göreli sitemap adresini, CSS/JS engelini ve yinelenen kuralı yakalar. Test alanı ise bir adresin belirli bir bot için taranabilir olup olmadığını ve kararı hangi kuralın verdiğini gösterir. Son olarak dosyayı kopyalayabilir ya da doğrudan robots.txt adıyla indirebilirsiniz.
Bu dosya, ekibimle her yeni site teslimatında ve her site taşımada ilk baktığımız yerlerden biri. SEO danışmanlığı sürecinde en sık düzelttiğimiz hatalar da çoğu zaman burada çıkıyor. Araç tarayıcınızda çalışır; kurallarınız hiçbir sunucuya gitmez.
Robots.txt dosyası ne işe yarar, ne işe yaramaz?
robots.txt'nin asıl görevi tarama trafiğini yönetmektir. Google, dosyanın temel amacını sitenizi bot istekleriyle aşırı yüklememek olarak tanımlar. Pratikte bu, botları sepet, iç arama, filtre ve yönetim paneli gibi değersiz adreslerden uzak tutmak demektir. Böylece botlar zamanlarını gerçekten sıralamak istediğiniz sayfalara ayırır.
Ancak dosyanın üç net sınırı var:
- Dizinden çıkarmaz. Engellediğiniz bir adres başka sitelerden bağlantı alıyorsa açıklamasız biçimde arama sonuçlarında görünebilir. Sayfayı dizinden çıkarmak için noindex gerekir.
- Güvenlik sağlamaz. Dosya herkese açıktır ve kötü niyetli botlar kurallara uymaz. RFC 9309 da bu kuralların bir erişim yetkisi olmadığını açıkça yazar.
- Her bot aynı okumaz. Google ve standarda uyan botlar söz dizimini aynı yorumlar, fakat bazı botlar farklı davranabilir.
Bu yüzden robots.txt'yi bir kilit gibi değil, botlara verdiğiniz bir yol tarifi gibi düşünün. Tarama tarafını teknik SEO çalışmasının geri kalanıyla birlikte ele aldığınızda gerçek faydayı görürsünüz.
Robots txt oluşturucu ile WordPress ve e-ticaret kuralları
WordPress şablonu iki satır yazar: Disallow: /wp-admin/ ve Allow: /wp-admin/admin-ajax.php. Yönetim paneli taramaya kapanır, ancak birçok tema ve eklentinin ön yüzde kullandığı admin-ajax.php açık kalır. Allow satırı daha uzun olduğu için Google bu dosyada Allow'u uygular; test alanında bunu kendiniz görebilirsiniz.
WooCommerce şablonu buna sepet, ödeme ve hesap sayfalarını ekler. Türkçe kurulumlarda bu adresler çoğunlukla /sepet/, /odeme/ ve /hesabim/ biçimindedir, şablon da bunları yazar. Sitenizde adresler farklıysa satırları kendi yollarınızla değiştirin. E-ticarette asıl tarama yükü ise filtre ve sıralama parametrelerinden gelir. Örneğin Disallow: /*?orderby= satırı sıralama parametreli kopyaları kapatır.
Burada bir uyarım var: /wp-content/ veya /wp-includes/ klasörünü engellemeyin. Bu klasörlerde tema dosyaları, CSS ve JavaScript bulunur; Google bunlara erişemezse sayfayı bozuk işler. Mağaza tarafındaki kategori ve filtre kurgusunu e-ticaret danışmanlığı projelerinde ekibimle robots.txt ile birlikte planlıyoruz.
Yapay zekâ botlarını engellemeli misiniz?
Bu kararı verirken iki tür botu ayırmanız gerekir. Eğitim botları (GPTBot, ClaudeBot, CCBot) içeriğinizi model eğitimi veya veri arşivi için toplar. Arama botları (OAI-SearchBot, PerplexityBot) ise yapay zekâ destekli arama cevaplarında sitenizi kaynak olarak göstermek için tarar. Google-Extended ayrı bir durumdur: ayrı bir tarayıcı değil, Gemini eğitimi ve grounding için bir kontrol jetonudur ve Google Aramadaki yerinizi etkilemez.
Benim önerim şu: içeriğinizin eğitim verisine girmesini istemiyorsanız eğitim botlarını engelleyin, fakat arama botlarını açık bırakın. Aksi halde ChatGPT arama gibi yüzeylerde markanızın görünme şansı düşer. OpenAI da GPTBot'u engellemenin ChatGPT aramasını etkilemediğini, arama için OAI-SearchBot kuralına baktığını belirtir.
Kararınız ne olursa olsun şu iki noktayı unutmayın:
- robots.txt geleceğe dönük çalışır; botların daha önce topladığı veriyi geri almaz.
- Kullanıcı isteğiyle çalışan bazı botlar, örneğin Perplexity-User, robots.txt kurallarını genelde uygulamaz.
Yapay zekâ aramasında görünürlüğü nasıl artırabileceğinizi markanızın ChatGPT ve Gemini'de nasıl göründüğünü anlattığım yazıda ele aldım.
Robots.txt'yi yükledikten sonra nasıl test edersiniz?
Dosyayı kök dizine yükledikten sonra üç kontrol yapıyorum:
- Tarayıcıda açın. https://siteniz.com/robots.txt adresini gizli pencerede açın; dosya düz metin olarak görünmeli ve 200 durum koduyla dönmeli. Yönlendirme zincirlerini yönlendirme denetleyici ile kontrol edebilirsiniz.
- Search Console robots.txt raporuna bakın. Rapor, sitenizdeki ilk 20 ana makine için Google'ın bulduğu dosyaları, son tarama zamanını ve ayrıştırma hatalarını gösterir. Önemli bir engeli kaldırdıysanız aynı rapordan yeniden tarama isteyebilirsiniz.
- Kritik adresleri test edin. Ana sayfa, kategori, ürün ve blog yazısı gibi temsilci adresleri bu aracın test alanına yazın ve beklediğiniz sonucu alıp almadığınıza bakın.
Google dosyayı genelde 24 saate kadar önbellekte tutar; bu yüzden değişikliğin etkisi hemen görünmeyebilir. Search Console'u ilk kez kullanıyorsanız Google Search Console rehberimle başlayabilirsiniz.
Robots.txt, noindex ve sitemap birlikte nasıl çalışır?
Bu üç araç farklı işler görür ve birbirini tamamlar. robots.txt taramayı, noindex dizine eklemeyi, sitemap ise keşfi yönetir. Sorun çoğu zaman üçünü karıştırmaktan çıkar.
- noindex için tarama şart. Bir sayfayı noindex ile dizinden çıkarmak istiyorsanız o sayfayı robots.txt ile engellemeyin; Google etiketi ancak sayfayı tarayınca görür. Etiketi meta tag oluşturucu ile hazırlayabilirsiniz.
- Sitemap yalnız dizine girmesini istediğiniz adresleri içersin. robots.txt ile engellediğiniz bir adresi site haritasına koymak Google'a çelişkili bir sinyal verir.
- Sitemap satırı tam URL ister. Google, http ile https veya www ile www'suz adres farklarını kendisi denemez; adresi olduğu gibi okur.
Site haritanız yoksa XML sitemap oluşturucu ile hazırlayıp adresini bu araçtaki Sitemap alanına ekleyin. Ardından haritayı Search Console'a da gönderin; robots.txt satırı keşfi kolaylaştırır, raporlamayı ise Search Console verir.
Site taşıma ve yayın öncesi robots.txt kontrol listesi
Yıllar içinde gördüğüm en pahalı robots.txt hatası hep aynı: test ortamında kullandığınız Disallow: / satırı, site yayına çıkarken dosyayla birlikte canlıya taşınıyor. Tek satır tüm sitenin taranmasını durdurur ve siz fark edene kadar organik trafik erir. Bu araç o satırı kritik uyarıyla işaretler, ama yayın gününe bir kontrol listesi koymak daha güvenlidir.
- Canlıya çıkmadan önce robots.txt içeriğini açıp Disallow: / satırını arayın.
- Test ortamını robots.txt yerine şifreyle koruyun; böylece dosyayı yanlışlıkla taşısanız da risk kalmaz.
- Alan adı veya protokol değiştiyse, örneğin http'den https'e geçtiyseniz, yeni ana makinede ayrı bir robots.txt olduğundan emin olun. Kurallar yalnız bulundukları ana makine, protokol ve port için geçerlidir.
- Sitemap satırındaki adresleri yeni alan adına güncelleyin.
Taşıma sürecinin tamamı için SEO migration kontrol listesi yazımı kullanabilirsiniz.
Robots.txt yazarken sık yapılan hatalar
- ✕HataCSS, JavaScript veya /wp-includes/ klasörünü engellemek.✓DoğrusuKaynak dosyalarını açık bırakın; Google sayfayı tarayıcı gibi işler ve bu dosyalar olmadan düzeni göremez.
- ✕HataTest ortamındaki Disallow: / satırını canlıya taşımak.✓DoğrusuYayın kontrol listesine robots.txt'yi ekleyin ve test ortamını şifreyle koruyun.
- ✕HataBir sayfayı dizinden çıkarmak için Disallow kullanmak.✓Doğrusunoindex kullanın ve sayfayı taranabilir bırakın; Google etiketi görmeden sayfayı dizinden çıkarmaz.
- ✕HataGizli sayfaları robots.txt ile saklamaya çalışmak.✓DoğrusuDosya herkese açıktır ve yazdığınız yolları ifşa eder; hassas alanları şifreyle veya sunucu tarafında koruyun.
- ✕HataDizin yolunun sonundaki eğik çizgiyi unutmak.✓DoğrusuDisallow: /sepet satırı /sepetim/ adresini de engeller; yalnız dizini kastediyorsanız /sepet/ yazın.
- ✕HataSitemap satırına göreli yol yazmak.✓DoğrusuTam adres yazın, örneğin https://siteniz.com/sitemap.xml; Google göreli yolu kendisi tamamlamaz.
Sıkça Sorulan Sorular
Robots.txt hazır, ya teknik SEO'nun kalanı?
Tarama yönetimi işin sadece ilk adımı; sıralamayı site hızı, içerik ve otorite belirler. SEO danışmanlığı için teklif alın; sitenizin adresini ve hedefinizi teklif formunda paylaşın, kapsamı ve tutarı yazılı teklifle gönderelim.
