Araçlar
Robots.txt Oluşturucu
Sitenize özel robots.txt dosyasını saniyeler içinde oluşturun: hazır şablonlar, satır satır kural editörü, sitemap desteği ve tek tıkla kopyalama. Ücretsiz, kayıt yok.
Çıktıyı robots.txt adlı bir dosyaya kaydedip sitenizin kök dizinine (örn. public_html) yükleyin. Dosya https://siteniz.com/robots.txt adresinden açılabilmelidir; alt dizinlere konan robots.txt dosyaları dikkate alınmaz. Her alt alan adı kendi dosyasını kullanır.
Robots.txt Nedir, Ne Yapar, Ne Yapamaz?
robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini söyleyen basit bir metin dosyasıdır. Doğru kullanıldığında tarama bütçenizi yönetir: botları sepet, filtre ve yönetim sayfaları gibi değersiz URL'lerden uzak tutar, önemli sayfalarınıza daha sık uğramalarını sağlar. Ancak kritik bir sınırı vardır: robots.txt bir sayfayı Google dizininden kaldırmaz. Disallow edilen bir URL, başka sayfalardan bağlantı alıyorsa açıklamasız biçimde arama sonuçlarında görünmeye devam edebilir; kaldırma işi noindex etiketinin veya Search Console araçlarının görevidir.
En yaygın hata, CSS ve JavaScript dosyalarını engellemektir. Google sayfanızı bir tarayıcı gibi işler (render eder); stil ve script dosyalarına erişemezse sayfayı bozuk görür, mobil uyumluluğu ve sayfa deneyimini yanlış değerlendirebilir. İkinci klasik hata, geliştirme sürecinden kalan Disallow: / satırının canlı sitede unutulmasıdır; tek satır tüm sitenin taranmasını durdurur. Yolların büyük/küçük harfe duyarlı olduğunu da unutmayın: /Blog/ ile /blog/ farklı kurallardır.
Sitemap: satırı, site haritanızın adresini botlara bildirmenin en pratik yoludur. Mutlak URL kullanılmalıdır (https:// ile başlamalı) ve birden fazla satır eklenebilir. Bu satır zorunlu değildir ama özellikle yeni sitelerde keşfi hızlandırır. Yine de site haritanızı Google Search Console'a ayrıca göndermek en sağlıklısıdır; bu araç eklediğiniz her sitemap adresini çıktının sonuna otomatik yazar.
Robots.txt hazır, ya teknik SEO'nun kalanı?
Tarama yönetimi işin sadece ilk adımı; sıralamayı site hızı, içerik ve otorite belirler. 15 dakikalık ücretsiz görüşmede sitenize birlikte bakalım.