Araçlar
Log Dosyası Analizi
Log analizi ile sunucu loglarınızda Googlebot'un ve yapay zeka botlarının neyi, ne sıklıkla taradığını görün. Sahte botları resmi IP listeleriyle ayıklayın, tarama bütçesi israfını ve sitemap farkını bulun. Log tarayıcınızda işlenir, yüklenmez.
Sonuç
- Dijital Pazarlama Uzmanı
- Google Partner
- Full Stack Developer
- Son güncelleme
- Dayanak
- 5 kaynak
Log Dosyası Analizi nasıl kullanılır?
- Erişim loglarını indirin
Hosting panelinizden, sunucunuzdan ya da CDN'den en az 7, tercihen 30 günlük erişim logu alın. Ham dosya, eski günlerin .gz arşivi ve birden çok dosya birlikte olur.
- Dosyaları araca bırakın
Dosyaları yükleme alanına sürükleyin ya da seçin. Araç dosyayı tarayıcınızda parça parça okur; bu sayede çok büyük loglar bile cihazınızdan çıkmaz.
- Biçimi ve doğrulamayı kontrol edin
Araç biçimi kendisi tanır. IP doğrulamasını açık bırakın; araç yalnız resmi bot IP listelerini indirir ve her botu doğrulandı, sahte ya da doğrulanamadı diye işaretler.
- Dört sekmeyi okuyun
Özet ile başlayın. Ardından Googlebot sekmesinde durum kodlarına ve tarama israfına, yapay zeka sekmesinde eğitim, arama ve kullanıcı botlarına, Sitemap sekmesinde boşluklara bakın.
- CSV alın ve düzeltin
Her tabloyu CSV olarak indirin. Googlebot'un sürekli çarptığı yönlendirmeleri ve hataları düzeltin, her sürümden sonra analizi tekrarlayın.
Araç rakamları nasıl hesaplar?
Her rakam logunuzdaki satırlardan gelir. Araç, Googlebot ve yapay zeka rakamlarını saymadan önce sahte botları ayıklar.
bot istekleri / tüm isteklerIP adresi, sahibinin yayımladığı CIDR listesinin içindekullanıcı ajanında bot adı var, IP ise o sahibin hiçbir listesinde yoksahibi IP listesi yayımlamıyor ya da doğrulama kapalı(304 hariç 3xx + 4xx + 5xx) / Googlebot istekleriadresinde ? olan Googlebot istekleri / Googlebot istekleriAraç 304 yanıtını israfa katmaz: Google'ın tarama bütçesi rehberi, Googlebot önbellekteki kopyayı kullanabilsin diye 304 desteği önerir.
Araç tek tek log satırlarından ne sonuç çıkarır?
Aşağıdaki satırlar örnek veriden gelir. Her biri bir isteği, aracın verdiği sonucu ve sonraki adımı gösterir.
| Log satırı (kısa) | Sonuç | Ne yapmalı |
|---|---|---|
| 66.249.66.1, Googlebot smartphone ajanı | Doğrulandı: IP, Google'ın ortak tarayıcı listesinde | Bir şey yapmayın; gerçek tarama olarak değerlendirin |
| 192.0.2.44, Googlebot ajanı | Sahte: hiçbir Google listesinde bu IP yok | Güvenlik duvarında sınırlayın ya da engelleyin; robots.txt işe yaramaz |
| 20.171.207.12, GPTBot ajanı | Doğrulandı: OpenAI eğitim tarayıcısı | Politikanıza göre robots.txt içinde GPTBot'a izin verin ya da engelleyin |
| 104.210.139.200, ChatGPT-User ajanı | Doğrulandı: kullanıcı tetiklemeli getirme | Sayfayı, insanların ChatGPT'ye sorduğu bir konu olarak değerlendirin |
| 198.51.100.5, YandexBot ajanı | Doğrulanamadı: Yandex IP listesi yayımlamıyor | Trafik önemliyse ters DNS sorgusuyla kontrol edin |
| Googlebot GET /eski-sayfa/, durum 301 | Tarama israfı | İç linkleri ve sitemap'i son adrese çevirin |
Örnek log kurgusaldır. Ziyaretçi ve taklitçi adresleri belgeleme aralıklarından (RFC 5737, RFC 3849) gelir; hiçbiri gerçek bir kişiye ait değildir.
Hangi yapay zeka botlarını ve jetonlarını bilmelisiniz?
Tablo, aracın tanıdığı yapay zeka botlarını listeler. İki satır yalnız robots.txt jetonudur: Google-Extended ve Applebot-Extended logunuzda kullanıcı ajanı olarak hiç çıkmaz.
| Ad | Sahibi | Kategori | robots.txt jetonu | IP listesi |
|---|---|---|---|---|
| GPTBot | OpenAI | Yapay zeka eğitimi | GPTBot | Var |
| OAI-SearchBot | OpenAI | Yapay zeka araması | OAI-SearchBot | Var |
| ChatGPT-User | OpenAI | Kullanıcı tetiklemeli | ChatGPT-User (geçmeyebilir) | Var |
| ClaudeBot | Anthropic | Yapay zeka eğitimi | ClaudeBot | Var |
| Claude-SearchBot | Anthropic | Yapay zeka araması | Claude-SearchBot | Var |
| Claude-User | Anthropic | Kullanıcı tetiklemeli | Claude-User | Var |
| PerplexityBot | Perplexity | Yapay zeka araması | PerplexityBot | Var |
| Perplexity-User | Perplexity | Kullanıcı tetiklemeli | Perplexity-User (genelde yok sayar) | Var |
| CCBot | Common Crawl | Yapay zeka eğitimi | CCBot | Var |
| Meta-ExternalAgent | Meta | Yapay zeka eğitimi | meta-externalagent | Yok |
| Amazonbot | Amazon | Yapay zeka eğitimi | Amazonbot | Yalnız web sayfası |
| Google-Extended | Yalnız jeton | Google-Extended | Tarayıcı değil | |
| Applebot-Extended | Apple | Yalnız jeton | Applebot-Extended | Tarayıcı değil |
Talha Aslan ve ekibi adları, rolleri ve listeleri 29 Eylül 2026'da OpenAI, Anthropic, Perplexity, Google, Apple, Common Crawl, Meta ve Amazon'un resmi sayfalarından kontrol etti. ByteDance, Bytespider için belge yayımlamıyor; bu yüzden araç onu diğer botlar altında gösterir.
Log analizi nedir, SEO için neden önemlidir?
Log analizi, web sunucunuzun erişim logunu okuyup hangi botun hangi adresi ne zaman ve hangi sonuçla istediğini gösterir. Search Console tarama etkinliğinin bir özetini verir; sunucu logu ise her isteği kaydeder, Google'ın raporlarında hiç çıkmayanlar dahil.
Bu yüzden log, teknik SEO için en dürüst kaynaktır. Örneğin Googlebot'un ziyaretlerini ürün sayfalarına mı, yoksa filtre adreslerine, yönlendirmelere ve hatalara mı harcadığını görürsünüz. Ayrıca log, içeriğinizi hangi yapay zeka botlarının okuduğunu ve kendini Googlebot diye tanıtan ziyaretçinin gerçekten Google olup olmadığını ortaya koyar.
Talha Aslan ve ekibi olarak SEO danışmanlığı kapsamındaki her teknik denetimde log dosyalarını inceliyoruz. Bu araç aynı ilk bakışı tarayıcınıza taşır. Dosyayı hiçbir yere yüklemez; analiz cihazınızda çalışır, böylece paylaşma izniniz olmayan logları da kontrol edebilirsiniz.
Sunucu erişim loglarını nereden alırsınız?
Barındırma firmalarının çoğu her site için erişim logu tutar. cPanel kullanan paylaşımlı hostingde Metrics bölümünden Raw Access ekranını açın; güncel logu ya da .gz arşivlerini buradan indirirsiniz. Önce arşiv seçeneğini açın, çünkü aksi halde cPanel eski veriyi her istatistik güncellemesinden sonra siler.
Kendi sunucunuzda Apache çoğunlukla /var/log/apache2/access.log, Nginx ise /var/log/nginx/access.log dosyasına yazar. Eski günler .1 ya da .gz uzantısıyla durur; hepsini birlikte bırakabilirsiniz. Ancak CDN arkasındaysanız sunucunuz yalnız içeri geçen trafiği görür. Bu durumda uç logları alın: Cloudflare Logpush JSON satırları yazar, AWS ise ALB ve CloudFront loglarını S3'e bırakır.
Araç combined ve common biçimlerini, IIS W3C, ALB, CloudFront, Cloudflare ve Caddy loglarını kendisi tanır. Üstelik en az bir haftalık veri tutmak işinizi kolaylaştırır. Tek gün, sitemap'in haftalık taranması gibi düzenleri gizler.
Log analizi sahte Googlebot'u nasıl yakalar?
Herkes kullanıcı ajanına Googlebot yazabilir. Veri kazıyıcılar ve açık tarayıcıları tam olarak bunu yapar, çünkü birçok site Google'a sınırsız geçiş verir. Yani kullanıcı ajanı tek başına hiçbir şey kanıtlamaz.
Google, doğrulama sayfasında iki yöntem anlatır. İlk olarak IP adresinin ters DNS sorgusu googlebot.com, google.com ya da googleusercontent.com altında bir ad döndürmeli, o adın ileri sorgusu da aynı IP'yi vermelidir. İkinci yöntem büyük loglar içindir: Google IP aralıklarını JSON dosyaları olarak yayımlar ve siz her adresi bu listelerle eşleştirirsiniz.
Bu log analizi aracı ikinci yöntemi kullanır. Sunucumuz Google, Bing, OpenAI, Anthropic, Perplexity, Apple, DuckDuckGo, Common Crawl ve Ahrefs'in resmi listelerini günde bir kez indirir; tarayıcınız da her bot adresini IPv4 ve IPv6 olarak bu listelerle eşleştirir. Eşleşme varsa bot doğrulanmış olur. Sahibinin listeleri dışındaki bir adresten gelen bot adı ise sahtedir. Yandex, Baidu ya da Meta gibi liste yayımlamayan sahiplerde sonuç doğrulanamadı olur; onlar için ters DNS kullanın.
Loglarda hangi yapay zeka botları çıkar ve ne ister?
Yapay zeka botlarını üç grupta toplayabilirsiniz ve her grup ayrı bir karar ister. GPTBot, ClaudeBot ve CCBot gibi eğitim tarayıcıları model eğitimi için sayfa toplar. OAI-SearchBot, Claude-SearchBot ve PerplexityBot gibi arama tarayıcıları yapay zeka cevaplarının arkasındaki dizini kurar. ChatGPT-User, Claude-User ve Perplexity-User gibi kullanıcı tetiklemeli ajanlar ise bir kişi o anda soru sorduğu için sayfayı açar.
Son gruba özellikle dikkat edin. ChatGPT-User'ın bir sayfayı getirmesi tarama değil, taleptir. Bu nedenle yapay zeka botları sekmesi bu ajanların en çok açtığı sayfaları listeler. OpenAI ve Perplexity de kullanıcı tetiklemeli isteklerin robots.txt kurallarına uymayabileceğini belirtir, çünkü isteği bir kişi başlatır.
İki ad logda hiç çıkmaz. Google-Extended ve Applebot-Extended yalnız robots.txt jetonudur; Apple'ın açıklamasına göre Applebot-Extended tarama yapmaz. Erişimi düzenlemek için robots.txt oluşturucu ile kurallarınızı yazın, ardından AI crawler rehberimizi okuyun.
Tarama bütçesi israfını loglarda nasıl bulursunuz?
Google'ın tarama bütçesi rehberine göre Google'ın ne kadar tarayacağını tarama kapasitesi ve tarama talebi belirler. Rehber büyük siteleri hedefler; yine de Googlebot ziyaretlerini önemli sayfalara harcadığında her site kazanır. Logunuz bu ziyaretlerin nereye gittiğini gösterir.
Araç yönlendirmeleri (3xx), istemci hatalarını (4xx) ve sunucu hatalarını (5xx) israf olarak sayar ve tüm Googlebot istekleri içindeki paylarını verir. 304 yanıtı istisnadır: Google'a önbellekteki kopyayı kullanmasını söyler, böylece kaynak kazandırır. Sunucu hatalarının başka bir önemi de var; Google'a göre 5xx yanıtları ve 429 sinyalleri Googlebot'u yavaşlatır.
Uygulamada URL başına tarama tablosunda israf sütununa bakın. Googlebot'un hâlâ istediği eski adresler çoğunlukla iç linklerde ya da sitemap'te durur; önce bu linkleri düzeltin. Ardından yönlendirme zincirlerini yönlendirme denetleyici ile test edin ve parametreli adreslere bakın, çünkü filtreler ve sıralamalar aynı sayfayı çoğaltabilir.
Log kayıtlarını sitemap ile nasıl karşılaştırırsınız?
Sitemap dizine girmesini istediğiniz adresleri listeler, log ise Googlebot'un gerçekten istediği adresleri gösterir. Sitemap sekmesi ikisini yan yana koyar ve iki liste verir.
İlk liste, log döneminde Googlebot'un hiç istemediği sitemap adresleridir. Bu sayfalar yeni, zayıf linkli ya da Google gözünde düşük değerli olabilir. Onlara iç link ekleyin ve durumlarını URL Denetleme aracında kontrol edin; Search Console rehberimiz bu adımları anlatır.
İkinci liste, 200 yanıtı verip Googlebot'un istediği ama sitemap'te olmayan HTML sayfalarıdır. Bir kısmı sitemap'e girmeli; site içi arama sonuçları gibi diğerleri ise taramadan çıkmalıdır. Sitemap'iniz eskiyse XML sitemap oluşturucu ile temiz bir sitemap hazırlayın. Araç sunucumuz üzerinden en çok 5.000 sitemap adresi okur ve yolları karşılaştırır; alan adı sonucu değiştirmez.
IP adresi içeren logları incelemek güvenli mi?
Erişim logları IP adresi içerir ve KVKK ile GDPR'a göre IP adresi kişisel veri sayılabilir. Bu yüzden araç dosyayı yalnız tarayıcınızda işler. Log sunucumuza hiç ulaşmaz; dışarı çıkan tek istekler resmi bot IP listeleri ve isterseniz sitemap'inizdir.
Yine de log dosyalarına özen gösterin. Onları yalnız ihtiyacı olan kişilerle paylaşın, gizlilik politikanızın belirttiğinden uzun saklamayın ve bir ajansa göndermeden önce ziyaretçi adreslerinin son bölümünü maskeleyin. Örneğin 203.0.113.25 adresi 203.0.113.0 olur. Resmi listelerdeki bot adresleri şirket ağlarıdır; doğrulama için onları olduğu gibi bırakabilirsiniz.
Sonuçları bir uzmanla birlikte okumak isterseniz ekibimiz log verisini Search Console ve site taramasıyla birleştirir. Sonuç olarak elinize yeni bir rapor değil, kısa bir düzeltme listesi geçer.
Log analizinde sık yapılan hatalar
- ✕HataYalnız kullanıcı ajanına güvenmek✓DoğrusuIP adresini resmi listeyle ya da ters DNS ile doğrulayın; sahte Googlebot çok yaygındır.
- ✕Hata304 yanıtlarını israf saymak✓Doğrusu304'ü ayrı tutun: Googlebot'un önbellekteki kopyayı kullanmasını sağlar ve kaynak kazandırır.
- ✕HataChatGPT'den çıkmak için ChatGPT-User'ı engellemek✓DoğrusuHer bot için ayrı karar verin: GPTBot eğitimi, OAI-SearchBot aramayı belirler; kullanıcı tetiklemeli istekler robots.txt'yi yok sayabilir.
- ✕HataTek günlük loga bakarak karar vermek✓DoğrusuEn az 7, tercihen 30 gün inceleyin; haftalık düzenler ve sürüm etkileri ancak böyle ortaya çıkar.
- ✕HataHam logu e-postayla göndermek✓DoğrusuÖnce ziyaretçi IP adreslerini maskeleyin ve yalnız gereken dönemi ve alanları paylaşın.
Sıkça Sorulan Sorular
Loglarınız tarama sorunu mu gösteriyor?
Talha Aslan ve ekibi olarak log, Search Console ve site yapısını birlikte inceliyor, tarama bütçesini doğru sayfalara yönlendiriyoruz.
