Googlebot Nedir? Nasıl Çalışır ve Nasıl Doğrulanır?

Googlebot nedir ve Google aramada ne iş yapar?

Googlebot, Google Arama'nın web sayfalarını bulmak, indirmek ve işlemek için kullandığı tarayıcı yazılımının genel adıdır. Aslında tek bir robot değil, mobil ve masaüstü olmak üzere iki tarayıcı türünü kapsar. Taradığı sayfalar daha sonra indeksleme ve sıralama sürecine girer.

Bu yazıda ekibimizin teknik SEO denetimlerinde sürekli kullandığı çerçeveyi anlatıyoruz. Kaynak olarak Google Search Central dokümantasyonunu esas alıyoruz. Dolayısıyla buradaki teknik bilgilerin dayanağı Google'ın kendi yayınlarıdır.

Googlebot'un asıl görevi içeriği anlamak değil, içeriği getirmektir. Anlama ve sıralama kararı, indeksleme ve sıralama sistemlerinde verilir. Yani Googlebot bir hakem değil, bir kuryedir. Kuryenin kapıya ulaşamadığı yerde, hiçbir sıralama algoritması çalışamaz.

Googlebot'u bir kütüphane görevlisine benzetebilirsiniz. Görevli raflardaki kitapları tek tek açıp içeriğini okur, sonra katalog kartına yazar. Siteniz bu kataloğa giremezse aramada yer almaz. Yani Googlebot'un sitenize erişebilmesi, SEO'nun en temel şartıdır.

Googlebot nedir, hangi türleri vardır?

Google belgelerine göre Googlebot, iki farklı tarayıcı için kullanılan genel isimdir. Birincisi akıllı telefon kullanıcısını taklit eden Googlebot Smartphone, ikincisi masaüstü kullanıcısını taklit eden Googlebot Desktop'tır. İkisi de aynı ürün belirtecini kullandığı için robots.txt kuralları ikisinde de aynı şekilde işler.

Bunun yanında Google'ın başka ürünlerine hizmet eden tarayıcılar da vardır. Örneğin görseller, videolar ve haberler için ayrı tarayıcı varyasyonları vardır. Google Storebot alışveriş sayfalarını, Google-InspectionTool ise Search Console'daki test araçlarını çalıştırır.

Bu ayrım pratikte şu nedenle önemlidir: Sunucu kayıtlarınızda gördüğünüz her Google imzalı istek, sıralamanızı belirleyen Googlebot olmayabilir. Bu nedenle kayıt analizinde tarayıcı türünü ayırmak gerekir.

• Smartphone sürümü: Mobil öncelikli indeksleme için asıl tarayıcı.
• Desktop sürümü: Masaüstü sürümü için kullanılan tarayıcı.
• Googlebot Image, Video, News: İlgili arama türleri için içerik toplayan varyasyonlar.
• Google Storebot: Alışveriş ve ürün sayfaları için çalışan tarayıcı.
• Google-InspectionTool: Search Console ve zengin sonuç testlerinde çalışan araç.

Googlebot nedir ve diğer Google tarayıcılarından farkı ne?

Google, kendi tarayıcılarını üç gruba ayırır. Ortak tarayıcılar arama indeksini besler ve robots.txt kurallarına her zaman uyar. Özel amaçlı tarayıcılar, site sahibiyle yapılan anlaşmaya göre çalışır. Kullanıcı tetiklemeli getiriciler ise bir kullanıcının isteği üzerine tek seferlik istek yapar.

Tablo bu üç grubu yan yana gösteriyor. Özellikle AdsBot örneği dikkat çekicidir, çünkü reklam hedef sayfalarınızı denetlerken genel kullanıcı belirteci (*) kurallarını yok sayabilir. Bu davranışı bilmeyen birçok site sahibi, robots.txt'ye eklediği engelin neden işlemediğini anlayamaz.

Kaynak: Google Tarayıcılar ve Getiriciler genel bakış.

Googlebot yeni sayfaları nasıl keşfeder?

Googlebot sayfaları iki ana yoldan bulur. Birincisi, zaten bildiği sayfalardaki bağlantıları izlemektir. İkincisi, sizin gönderdiğiniz site haritasındaki adreslerdir. Bu nedenle iç link yapınız ve site haritanız, keşif hızını doğrudan etkiler.

Örneğin yeni yayımladığınız bir blog yazısına hiçbir sayfadan link vermediyseniz, Googlebot onu ancak site haritası üzerinden bulabilir. Üstelik site haritasında olması, sayfanın taranacağını ya da indeksleneceğini garanti etmez. Yani site haritası bir öneri listesidir, emir değil.

Ekibimiz yeni içerik yayınlarken şu sırayı izler:

1. Yazıyı ilgili hizmet veya kategori sayfasından en az bir kez linkleriz.
2. Site haritasına ekler ve lastmod tarihini gerçek güncelleme tarihine göre yazarız.
3. Search Console'da URL Denetleme ile sayfanın erişilebilir olduğunu doğrularız.
4. Birkaç gün sonra tarama ve indeks durumunu kontrol ederiz.

Site haritası tarafını ayrıntılı okumak isterseniz sitemap lastmod etiketi yazımıza göz atabilirsiniz. Haritayı sıfırdan üretmek için XML sitemap oluşturucu aracımız işinizi görür.

Tarama, render ve indeksleme arasındaki fark nedir?

Tarama, Googlebot'un sayfayı sunucudan indirmesidir. Render, indirilen sayfanın tarayıcıda çalıştırılıp JavaScript'in işlenmesidir. İndeksleme ise sayfanın içeriğinin Google'ın veri tabanına kaydedilmesidir. Üç adım ayrı ayrı başarısız olabilir ve her birinin çözümü farklıdır.

Sahada en sık yapılan hata, bu üç kavramı birbirine karıştırmaktır. Örneğin Search Console'da taranmış ama dizine girmeyen sayfalar görüyorsanız sorun tarama değildir. Googlebot sayfayı indirmiştir ama indekse almamıştır. Dolayısıyla çözümü sunucu ayarında değil, içerik kalitesinde ve sinyallerde ararsınız.

Tersine, "Bulundu" ile başlayan durum etiketi çoğunlukla taramanın henüz gerçekleşmediğini gösterir. Bu iki durumun nedenlerini ayrı ayrı incelemek için indekslenmeyen sayfaları tespit rehberimizi kullanabilirsiniz.

Googlebot JavaScript'i nasıl işler?

Google, JavaScript tabanlı sayfaları üç aşamada işler: tarama, render ve indeksleme. Googlebot önce HTML'i indirir ve içindeki bağlantıları çıkarır. 200 durum koduyla dönen sayfalar render kuyruğuna girer. Burada güncel bir Chromium sürümü JavaScript'i çalıştırır ve sonuç HTML'i indekse gönderir.

Render kuyruğunda bekleme süresi birkaç saniye olabileceği gibi daha uzun da sürebilir. Bu nedenle kritik içeriği yalnızca JavaScript ile sonradan yüklüyorsanız, indekse girmesi gecikebilir. Sunucu taraflı render veya statik üretim bu gecikmeyi ortadan kaldırır.

Burada bilmeniz gereken iki kural var:

• robots.txt ile engellediğiniz bir adresi Googlebot hiç istemez, dolayısıyla render etmez. Engellediğiniz JavaScript dosyalarının içeriğini de göremez.
• Sayfanın özgün kodunda noindex etiketi varsa Google render ve JavaScript çalıştırmayı atlayabilir.

Dolayısıyla CSS ve JavaScript dosyalarını robots.txt ile kapatmak, sayfanın Googlebot'a eksik görünmesine yol açabilir. JavaScript'in hız etkisini ayrıca JavaScript site hızı yazımızda ele aldık. Kaynak: Google JavaScript SEO temelleri.

Mobil öncelikli indeksleme Googlebot'u nasıl etkiler?

Mobil öncelikli indeksleme, Google'ın sayfaların mobil sürümünü indeksleme ve sıralama için esas almasıdır. Dolayısıyla sitenizi taramaya gelen asıl robot, çoğu durumda Googlebot Smartphone'dur. Masaüstü sürümünde olup mobilde bulunmayan içerik, Google için fiilen yok sayılabilir.

Bunun sonuçları basit ama sert olur. Mobilde gizlediğiniz bir ürün tablosu, kırptığınız bir kategori metni ya da yüklemediğiniz bir schema bloğu indekse girmez. Ayrıca mobil sürümde engellenen kaynaklar, Googlebot'un sayfayı doğru görmesini zorlaştırır.

Ekibimiz her denetimde önce mobil sürümü açar, sonra masaüstüyle karşılaştırır. Mobil tasarım mantığını geniş açıdan okumak için mobil öncelikli tasarım rehberimiz yararlı olur.

Googlebot nedir, tarama bütçesiyle bağı ne?

Tarama bütçesi, Googlebot'un sitenizde taramaya ayırabileceği ve ayırmak istediği toplam adres miktarıdır. İki unsurdan oluşur: tarama kapasitesi ve tarama talebi. Kapasite, sunucunuzun kaldırabildiği yükü; talep ise Google'ın sayfalarınıza duyduğu ilgiyi ifade eder.

Google belgelerine göre bu konu herkesi ilgilendirmez. Doğrudan ilgilenmesi gerekenler şu siteler:

• 1 milyondan fazla benzersiz sayfası olan ve içeriği haftada bir civarında değişen büyük siteler.
• 10.000'den fazla benzersiz sayfası olan ve içeriği çok hızlı, yani günlük değişen orta ve büyük siteler.
• Search Console'da çok sayıda adresi "Bulundu" ile başlayan, yani henüz taranmamış durumda görenler.

Küçük bir kurumsal siteniz varsa tarama bütçesi sizin için gündelik bir sorun olmaz. Bu durumda önceliğiniz, sayfaları doğru kurmak ve düzgün linklemektir. Daha ayrıntılı vaka için Googlebot neden daha az tarar yazımıza bakabilirsiniz.

Tarama kapasitesi ve tarama talebi neye bağlıdır?

Googlebot kapasiteyi sunucunuzun sağlığına göre ayarlar. Yanıt süreleri uzarsa veya sunucu 5xx hataları ve 429 sinyalleri verirse, Googlebot hızını düşürür. Sunucunuz hızlı ve kararlı yanıt verirse, kapasite artabilir.

Tarama talebi ise sitenizin algılanan envanterine, popülerliğine ve içeriğin ne kadar eski kaldığına bağlıdır. Yani sık güncellediğiniz ve çok link alan sayfaları Googlebot daha sık, uzun süredir değişmeyenleri daha seyrek tarar.

Kısacası tarama bütçesini artırmanın sihirli bir yolu yok. Sunucuyu hızlandırır, kopya adresleri azaltır ve değerli sayfaları öne çıkarırsınız. Kaynak: Google tarama bütçesi yönetimi rehberi.

Tarama bütçesini boşa harcayan hatalar nelerdir?

Googlebot'un zamanı sınırlıdır. Bu zamanı değersiz adreslere harcatırsanız, önemli sayfalarınızı Googlebot geç tarar. Sahada en sık gördüğümüz israf kaynakları aşağıdaki gibidir.

• Filtre ve sıralama parametrelerinden doğan sonsuz adres kombinasyonları.
• Oturum kimliği veya takip parametresi taşıyan kopya adresler.
• Artık var olmayan ama 200 koduyla dönen, yani soft 404 üreten sayfalar.
• Uzun yönlendirme zincirleri ve yönlendirme döngüleri.
• Sitenin her yerinde linklenen ama değeri olmayan etiket ve arşiv sayfaları.

Google'ın önerisi net: Kalıcı olarak kaldırdığınız sayfalar için 404 veya 410 döndürün. Soft 404 hatalarını düzeltin ve site haritanızı güncel tutun. Ayrıca sunucunuz If-Modified-Since başlığına 304 yanıtı verirse, Googlebot aynı içeriği yeniden indirmez.

Dikkat edin: Bu işleri robots.txt ile geçici olarak halletmeye çalışmak çözüm olmaz. Google'a göre robots.txt ile boşalttığınız tarama payını Googlebot, sunucu kapasite sınırına dayanmadıkça başka sayfalara kaydırmaz.

Googlebot nedir, robots.txt onu nasıl yönlendirir?

robots.txt, sitenizin kök dizininde duran ve tarayıcılara hangi yollara girebileceklerini söyleyen metin dosyasıdır. Googlebot, bir sayfayı istemeden önce bu dosyayı okur. Engellenen bir yola istek göndermez. Bu yüzden dosyadaki tek bir yanlış satır, sitenizin büyük bölümünü taramadan çıkarabilir.

Bir dosyadaki kural, belirli bir kullanıcı aracısına özel yazılabilir. Örneğin yalnızca Googlebot için ayrı bir bölüm tanımlayıp diğer botlara farklı kurallar verebilirsiniz. Ancak bu esneklik, çakışan kurallar yüzünden hata riskini de artırır. Bu nedenle dosyayı sade tutmanızı öneririz.

Dosyanın kullanım amacı taramayı yönetmektir. İndekslemeyi yönetmek için başka araçlar gerekir. Bu fark çoğu zaman gözden kaçar.

Ekibimizin kontrol ettiği temel noktalar şunlardır:

• Dosya, alan adının kökünde ve doğru adla mevcut mu?
• CSS ve JavaScript dosyalarını yanlışlıkla engelleyen bir kural var mı?
• Site haritasının adresini dosyaya yazdınız mı?
• Test ortamından kalan genel Disallow kuralı canlıya sızmış mı?

Sıfırdan dosya hazırlıyorsanız robots.txt oluşturucu aracımızı kullanabilirsiniz. Genel mantık için robots.txt nedir yazımız, sık yapılan hatalar için robots.txt hataları rehberimiz yol gösterir.

robots.txt ile noindex arasındaki fark nedir?

robots.txt taramayı, noindex ise indekslemeyi kontrol eder. Googlebot, noindex etiketini ancak sayfayı tarayıp okuyabilirse görür. Bu nedenle aynı sayfayı hem robots.txt ile engelleyip hem noindex ile işaretlemek çelişkili bir kombinasyondur.

Google belgelerine göre sayfayı aramadan çıkarmak istiyorsanız noindex kullanırsınız. Hem kullanıcıyı hem tarayıcıyı dışarıda tutmak istiyorsanız parola koruması gerekir. Tarama bütçesi açısından ise noindex çözüm değildir, çünkü Google o sayfayı yine de istemeye devam eder.

Ayrıntı için noindex ve nofollow farkı yazımıza göz atın.

Googlebot bir dosyanın ne kadarını okur?

Googlebot, desteklenen dosya türlerinin ilk 2 MB'ını, PDF dosyalarının ise ilk 64 MB'ını işler. CSS ve JavaScript gibi kaynaklar da aynı sınırlara tabidir. Googlebot bu sınırları sıkıştırmadan önceki boyuta göre hesaplar. Genel olarak Google belgeleri, tarayıcılar ve getiriciler için 15 MB'lık bir üst sınır tanımlar.

Pratikte çoğu sayfa bu sınıra yaklaşmaz. Ancak çok büyük satır içi JavaScript, devasa JSON blokları veya gömülü base64 görseller içeren sayfalarda, önemli içerik sınırın ötesinde kalabilir. Böyle bir içerik indekse girmez.

Bu nedenle önemli metinleri, başlıkları ve schema verisini HTML'in başlarında tutmanızı öneririz. Büyük betikleri ayrı dosyalara taşımak da hem hızı hem de güvenliği artırır.

Gerçek Googlebot'u nasıl doğrularsınız?

Kötü niyetli botlar, Googlebot'un kullanıcı aracısı (user agent) başlığını sıkça taklit eder. Bu yüzden yalnızca bu başlığa bakmak yeterli olmaz. Google iki doğrulama yöntemi önerir: ters DNS sorgusu ve yayımlanan IP aralıklarıyla eşleştirme.

Tek seferlik kontrol için manuel yöntemi şöyle uygularsınız:

1. Sunucu kayıtlarınızdan istek yapan IP adresini alın.
2. Bu adrese ters DNS sorgusu yapın ve alan adının googlebot.com, google.com veya googleusercontent.com olduğunu doğrulayın.
3. Dönen alan adı için ileri DNS sorgusu yapın.
4. Sonucun başlangıçtaki IP adresiyle eşleştiğini onaylayın.

Çok sayıda isteği toplu denetlemek istiyorsanız, Google'ın yayımladığı IP aralığı dosyalarıyla eşleştirme yaparsınız. Ortak tarayıcılar için common-crawlers.json, özel amaçlı tarayıcılar için special-crawlers.json dosyasını kullanırsınız. Kaynak: Google Googlebot doğrulama rehberi.

Sahte Googlebot trafiğiyle nasıl başa çıkarsınız?

Kötü niyetli botlar, engellenmemek için kendilerini Googlebot olarak tanıtır. Bu trafik sunucunuzu yorabilir, içeriğinizi kopyalayabilir veya güvenlik açıklarını tarayabilir. Dolayısıyla Googlebot imzalı her isteğe körü körüne güvenmemek gerekir.

Ekibimizin önerdiği yaklaşım basittir. Önce yukarıdaki doğrulamayı otomatik hale getirirsiniz. Doğrulanamayan istekleri sınırlar veya engellersiniz. Doğrulanan istekleri ise asla engellemezsiniz.

Güvenlik duvarı kurallarında sık görülen bir hata vardır. Hız sınırı koyarken gerçek Googlebot IP aralıklarını muaf tutmayanlar, farkında olmadan taramayı kısıtlar. Böylece sunucunuz korunurken indekslemeniz zarar görür. Bu yüzden her yeni kuraldan sonra Search Console'daki tarama istatistiklerini izlemelisiniz.

Googlebot sitenizi nasıl gördüğünü nasıl test edersiniz?

En sağlam yöntem, Search Console'daki URL Denetleme aracıdır. Bu araç Googlebot'un sayfayı nasıl getirdiğini, render sonucunu ve engelli kaynakları gösterir. Canlı testle de sayfanın şu anki durumunu görürsünüz.

Test sırasında bir noktaya daha dikkat edin: Googlebot, sayfayı tarayıcınızdaki gibi sonsuza kadar beklemez. Çok geç yüklenen içerik, çok uzun süren betikler veya kullanıcı etkileşimi gerektiren bölümler eksik görünebilir. Örneğin yalnızca "daha fazla göster" düğmesine tıklayınca gelen metin, Googlebot için büyük olasılıkla yoktur.

Tarayıcıdaki "sayfa kaynağını göster" ile geliştirici araçlarındaki DOM arasındaki farka da bakmalısınız. Eğer kritik içerik yalnızca DOM'da varsa, Googlebot'un onu render sonrası gördüğünü anlarsınız. Bu durumda gecikme riskini değerlendirmelisiniz.

• URL Denetleme: Tek sayfanın tarama, render ve indeks durumu.
• Tarama İstatistikleri raporu: Toplam istek, yanıt süresi, ana bilgisayar sorunları ve dosya türü dağılımı.
• Sunucu kayıtları: Hangi URL'lerin ne sıklıkla istendiğinin ham verisi.
• Sayfa Dizine Ekleme raporu: Hangi sayfaların neden dışarıda kaldığı.

Arayüze yeni başlıyorsanız Google Search Console rehberimiz ilk adımlar için uygundur.

Googlebot siteyi daha az taramaya başlarsa ne yapmalısınız?

Önce nedeni teşhis edin, çünkü düşüş birkaç farklı kaynaktan gelebilir. Sunucu hataları, yavaşlayan yanıt süreleri, hatalı robots.txt veya içerik değerinin düşmesi başlıca nedenlerdir. Tarama İstatistikleri raporunda hangi eğilimin eşlik ettiğine bakın.

Örneğin yanıt süresi artmış ve 5xx hataları yükselmişse, sorun büyük olasılıkla sunucudadır. Hatalar yoksa ve yalnızca talep düşmüşse, içeriğin güncelliğini ve iç link yapısını gözden geçirmek gerekir. Böylece doğru yere müdahale edersiniz.

Vaka bazlı kontrol listesini Googlebot neden daha az tarar yazımızda topladık. Tarama sorunu bir trafik düşüşüne dönüştüyse trafik düşüşü teşhis yazımız ikinci adımınız olabilir.

Yapay zeka tarayıcılarının Googlebot'tan farkı nedir?

GPTBot, ClaudeBot gibi yapay zeka tarayıcıları, Google'ın arama indeksini besleyen Googlebot'tan bağımsız çalışır. Her birinin kendi kullanıcı aracısı ve kuralları vardır. Bu nedenle robots.txt dosyanızda ayrı ayrı yönetmeniz gerekir.

Google tarafında asıl belirteç Google-Extended'dir. Bu belirteç özel amaçlı tarayıcılar arasında yer alır. Googlebot'tan ayrı bir kontrol sağlar, yani onu engellemeniz arama taramasını doğrudan durdurmaz.

Hangi botu ne amaçla engellemek veya serbest bırakmak istediğiniz, stratejik bir karardır. İçeriğinizin yapay zeka yanıtlarında görünmesini isteyen bir marka ile içeriğini korumak isteyen bir yayıncı farklı yollar seçer. Ayrıntılar için AI crawler yazımıza bakın.

Googlebot HTTP durum kodlarına nasıl tepki verir?

Sunucunuzun döndürdüğü durum kodu, Googlebot'a sayfa hakkında ilk ve en net mesajı verir. Doğru kodu seçmek, hem taramayı hem indekslemeyi etkiler. Yanlış kod ise sayfanın yanlış anlaşılmasına yol açar.

Özellikle bakım çalışması yaparken 200 koduyla "Bakımdayız" sayfası göstermek riskli bir alışkanlıktır. Googlebot bu sayfayı gerçek içerik sanabilir. Bunun yerine geçici durumlarda uygun bir 5xx kodu döndürmek daha güvenlidir.

Yönlendirme tarafında da basit bir kural işe yarar: Eski adresten yeni adrese tek adımda gidin. Zincirleme yönlendirmeler hem kullanıcıyı yavaşlatır hem de Googlebot'un zamanını tüketir. Taşıma projelerinde 404 yönlendirme eşleştirici aracımız eski ve yeni adresleri eşlemenize yardım eder.

Googlebot nedir sorusunun ardından hangi yanılgılar gelir?

Googlebot hakkında sahada en sık duyduğumuz yanılgıları toplayıp kısa cevaplarla yanıtlıyoruz. Bunların her biri, gereksiz teknik iş yükü ya da yanlış beklenti yaratır.

• "Site haritası gönderirsem sayfam indekslenir." Hayır. Site haritası yalnızca keşfe yardım eder, indeksleme garantisi vermez.
• "robots.txt ile sayfayı aramadan çıkarırım." Hayır. Bu dosya taramayı yönetir. Sayfa başka linklerle yine indekse girebilir.
• "Googlebot sitemi her gün tarar." Duruma bağlıdır. Tarama sıklığı sunucu sağlığına ve içeriğin değişimine göre ayarlanır.
• "Kullanıcı aracısı Googlebot yazıyorsa gerçek Googlebot'tur." Hayır. Bu başlık sıkça taklit edilir, doğrulama şarttır.
• "Tarama bütçesi her sitenin sorunudur." Hayır. Google belgelerine göre asıl büyük ve hızlı değişen siteleri ilgilendirir.

Bu yanılgıları baştan ayıklamak, ekibimizin denetim süresini kısaltır. Çünkü doğru soruyu sorduğunuzda, doğru raporu da hemen açarsınız.

Googlebot nedir, Google Ads'teki AdsBot ile aynı şey mi?

Hayır. AdsBot, Google'ın özel amaçlı tarayıcılarından biridir ve reklam hedef sayfalarınızın kalitesini denetler. Googlebot ise arama indeksi için çalışır. İkisinin kuralları ve robots.txt davranışları farklıdır.

Google belgelerine göre AdsBot, site sahibinin onayıyla genel kullanıcı belirteci (*) kurallarını yok sayabilir. Dolayısıyla robots.txt'de tüm botları engelleyen bir kural yazmış olsanız bile, AdsBot reklam sayfanıza erişebilir. Bu davranış, reklam yayınlayan siteler için önemli bir ayrıntıdır.

Reklam açılış sayfanıza erişim sorunu yaşıyorsanız iki ayrı kontrol yapmalısınız. Birincisi Googlebot'un sayfayı tarayıp tarayamadığı, ikincisi AdsBot'un sayfaya ulaşıp ulaşamadığıdır. Google Ads hesabınızı tarama sorunlarıyla birlikte yönetmek isterseniz Google Ads yönetimi hizmetimiz bu iki alanı birlikte değerlendirir.

Googlebot dostu bir site yapısı nasıl olmalı?

Googlebot dostu site, sayfalara az tıklamayla ulaşılan, tutarlı linklenen ve hızlı yanıt veren sitedir. Bu yapı Googlebot'un işini kolaylaştırdığı gibi kullanıcıya da fayda sağlar. Dolayısıyla teknik SEO ile kullanıcı deneyimi çoğu zaman aynı yöne bakar.

Ekibimiz yapıyı değerlendirirken şu ilkelere bakar:

• Önemli sayfalar ana sayfadan en fazla birkaç tıklama uzakta durur.
• Her sayfa en az bir ilgili sayfadan link alır; böylece yetim sayfa kalmaz.
• Açıklayıcı bağlantı metinleri, Googlebot'a hedef sayfanın konusunu anlatır.
• Kategori, etiket ve filtre sayfaları gerçekten değer üretmiyorsa taramaya açılmaz.
• Her içerik tek bir kanonik adresle temsil edilir.

Örneğin e-ticaret sitelerinde filtre kombinasyonları binlerce adres üretebilir. Bunların büyük kısmı kullanıcıya yeni bir şey sunmaz. İşte bu noktada hangi kombinasyonların taranacağına bilinçli karar vermek, tarama bütçesini korur.

Bu konuyu büyük sitelerde ayrıca kategori yapısı rehberimizde işledik.

Googlebot için pratik kontrol listesi nedir?

Aşağıdaki liste, ekibimizin teknik denetimlerde ilk gün baktığı noktaları özetler. Hepsini düzenli aralıklarla, örneğin aylık gözden geçirmenizi öneririz.

1. robots.txt dosyası erişilebilir mi ve beklenmedik bir genel engel içeriyor mu?
2. Site haritası güncel mi ve yalnızca indekslenmesini istediğiniz adresleri listeliyor mu?
3. Önemli sayfalara iç linklerle ulaşılabiliyor mu?
4. Mobil sürümde masaüstüyle aynı ana içerik var mı?
5. CSS ve JavaScript dosyaları Googlebot'a açık mı?
6. Sunucu yanıt süreleri kararlı mı ve 5xx hataları düşük mü?
7. Silinen sayfalar 404 veya 410 dönüyor mu, soft 404 var mı?
8. Tarama İstatistikleri raporunda alışılmadık bir sıçrama veya düşüş var mı?

Googlebot nedir sorusunun cevabı, sonunda bu listeye iner: Googlebot sitenize ulaşabilmeli, sayfayı doğru görebilmeli ve önemli adresleri kolay bulabilmelidir. Bu üç şartı sağladığınızda, geri kalan SEO çalışmaları çok daha verimli sonuç verir.

Bu liste, teknik SEO ipuçları yazımızdaki genel çerçevenin tarama odaklı bir özetidir.

Ekibimiz Googlebot denetiminde hangi sırayla ilerler?

Her proje farklıdır, ancak sıramız genelde değişmez. Önce erişilebilirliği, sonra taranabilirliği, en son indekslenebilirliği kontrol ederiz. Böylece sorunu doğru katmanda arar, gereksiz değişikliklerden kaçınırız.

• Erişim: Sunucu yanıtları, yönlendirmeler, güvenlik duvarı ve CDN kuralları.
• Taranabilirlik: robots.txt, iç linkler, site haritası ve parametreli adresler.
• Render: JavaScript bağımlılığı, engellenen kaynaklar ve mobil içerik eşitliği.
• İndeksleme: noindex, canonical, kopya içerik ve sayfa kalitesi.

Bu çerçevenin ardından bulguları etki ve çaba sırasına göre önceliklendiriyoruz. Teknik tarafta destek almak isterseniz SEO danışmanlığı hizmetimizi inceleyebilirsiniz. Danışmanlığın kapsamını anlamak için de SEO danışmanlığı neleri kapsar yazımız yardımcı olur.