Dijital Pazarlama

A/B Testi Ne Zaman Durdurulur? İstatistiksel Anlamlılık Rehberi

Talha Aslan 15 dakikalık okuma 3 görüntülenme

Kısa cevap

AB testi ne zaman durdurulur?

AB testi ne zaman durdurulur sorusunun yanıtı şudur: Başlamadan önce hesapladığınız örneklem büyüklüğüne ve tam hafta döngülerine ulaştığınızda durdurursunuz. Anlamlılık göstergesinin ilk kez yeşile dönmesi tek başına sebep değildir. Plan dışı durdurma yalnızca veri hatası ya da ciddi zarar durumunda doğrudur.

Tüm detaylar ve örnekler için yazıya devam edin

Bu cevap basit görünür, ancak sahada en çok yanlış yapılan karar tam burasıdır. Ekipler testi ilk "anlamlı" sonuçta kapatır, kazananı yayına alır ve birkaç hafta sonra kazancı göremez. Bu rehberde durdurma kurallarını, örneklem planını ve peeking tuzağını sırayla anlatıyoruz.

Yazının sonunda karar tablosu ve numaralı bir kontrol listesi bulacaksınız. Böylece her testi aynı disiplinle bitirebilirsiniz.

Bu yazı, test kurmayı değil, testi doğru anda bitirmeyi ele alıyor. İlk testinizi nasıl kuracağınızı merak ediyorsanız, aşağıda bağlantısını verdiğimiz başlangıç rehberiyle başlayın. Ardından buraya dönün; çünkü durdurma kuralı, her testin en sessiz ama en pahalı kararıdır.

Neden ilk anlamlı sonuçta durmak yanıltıcıdır?

Her test, veri geldikçe dalgalanan bir fark üretir. İlk günlerde birkaç dönüşümün yeri değişince fark çok büyük ya da çok küçük görünür. Örneğin ilk iki günde varyant B önde çıkabilir, ama sonraki hafta fark kapanabilir.

Çünkü anlamlılık hesabı, örneklem planlandığı gibi tamamlandığında geçerli olan bir yöntemdir. Siz her gün bakıp ilk yeşilde durursanız, şansa dayalı bir sapmayı yakalamış olursunuz. Yani gerçek bir kazanan yerine, tesadüfen iyi görünen bir anı seçersiniz.

NIST'in istatistik el kitabı, anlamlılık düzeyinin (alfa) tek ve planlı bir test için yanlış pozitif riskini belirlediğini anlatır. Bu risk, testi tekrar tekrar kontrol ettiğinizde sabit kalmaz. Ayrıntı için NIST hipotez testi bölümüne bakabilirsiniz.

Kısacası, durdurma anı sonuca bakarak değil, plana bakarak seçilir.

Bunu şöyle düşünün: Yazı tura atışında ilk beş atışta dört tura gelmesi, madeni paranın hileli olduğunu kanıtlamaz. Küçük örneklemde uç sonuçlar sık görülür. Ayrıca büyük örneklem, bu uçları yavaş yavaş ortalamaya çeker. Bu yüzden erken gelen büyük farklara şüpheyle bakmak, iyi bir alışkanlıktır.

Test başlamadan hangi kararları yazıya dökmelisiniz?

İyi bir durdurma kuralı, testin başlamadan önce yazılmış olmasıdır. Sonucu gördükten sonra kural yazarsanız, farkında olmadan kendinize uygun bir bitiş noktası seçersiniz. Bu yüzden tek sayfalık bir test planı hazırlayın.

Planda şu başlıklar bulunsun:

  • Hipotez: Neyi, neden değiştirdiğiniz ve hangi davranışın değişmesini beklediğiniz.
  • Ana metrik: Karar verirken tek bir birincil dönüşüm ölçüsü.
  • Koruma metrikleri: Sayfa hızı, iade, iptal ya da form hatası gibi zarar göstergeleri.
  • Minimum saptanabilir etki: Yatırımı haklı çıkaracak en küçük fark.
  • Güven düzeyi ve güç: Örneğin 95% güven, 80% güç.
  • Örneklem ve süre: Varyant başına gereken ziyaretçi ve tam hafta sayısı.
  • Durdurma tarihi: Takvimde yazılı, değiştirilmeyen bir gün.

Test edeceğiniz sayfanın tasarımı veya yeni varyantın üretimi için destek gerekirse, ekibimizin sunduğu web tasarım çalışması bu planı uygulamaya dökmenize yardım eder. Ancak önce planı kâğıda geçirin.

Plan yazmak ilk bakışta gereksiz bürokrasi gibi durabilir. Oysa sonuç gelince herkesin aklında başka bir beklenti olur. Pazarlama "dönüşüm" der, yönetim "gelir" der, tasarım "tıklama" der. Tek bir ana metriği baştan yazmak, bu tartışmayı test bitmeden çözer. Üstelik sonuç tartışmalı çıkarsa, geri dönüp bakacağınız bir belge olur.

Örneklem büyüklüğünü nasıl planlarsınız?

Örneklem büyüklüğü dört girdiye bağlıdır: mevcut dönüşüm oranı, saptamak istediğiniz en küçük etki, güven düzeyi ve güç. Dönüşüm oranınız ne kadar düşükse ve saptamak istediğiniz fark ne kadar küçükse, o kadar çok ziyaretçiye ihtiyaç duyarsınız.

Hesabı elle yapmak zorunda değilsiniz. Ücretsiz a/b testi hesaplama aracımızın örneklem sekmesine mevcut oranı, minimum etkiyi, güveni ve gücü girin. Araç varyant başına ziyaretçiyi, toplam ziyaretçiyi ve tahmini süreyi verir. Ayrıca süreyi tam haftaya yuvarlar.

Bu planı test başlamadan önce yapın. Çünkü sonuç, "bu siteyle bu test yapılabilir mi?" sorusunu da yanıtlar. Gereken süre aylar çıkıyorsa, testi daha büyük bir etkiye göre yeniden kurgulayın.

Örneğin tek bir buton rengini test etmek yerine, teklif cümlesini ve sayfa düzenini birlikte değiştiren cesur bir varyant deneyin. Büyük değişiklik büyük fark üretme ihtimali taşır. Dolayısıyla daha az ziyaretçiyle sonuca ulaşırsınız. Ancak aynı anda çok şey değiştirirseniz, neyin işe yaradığını ayıramazsınız; bu dengeyi hipotezinize göre kurun.

Örnek hesap: 39 bin ziyaretçi neden gerekir?

Bir örnek senaryo kuralım. Bu bir örnek hesaptır, sizin siteniz için geçerli sayılmaz.

Mevcut dönüşüm oranınız 4% olsun. Varyantın oranı 4,4% seviyesine çıkarsa bunu fark etmek istiyorsunuz; bu, göreli olarak 10% artış demektir. Güven düzeyini 95%, gücü 80% alın ve iki yönlü test seçin. Standart iki oran formülü varyant başına yaklaşık 39 bin ziyaretçi verir.

Günde toplam 2.000 ziyaretçiniz varsa, her varyanta 1.000 ziyaretçi düşer. Bu hızla yaklaşık 40 gün gerekir. Tam haftaya yuvarlayınca süre 6 hafta olur.

  • Daha büyük etkiyi hedeflerseniz süre kısalır.
  • Dönüşüm oranı yüksek bir sayfada aynı göreli fark daha az ziyaretçiyle görünür.
  • Varyant sayısını artırırsanız toplam ihtiyaç büyür.

Bu sayılar yalnızca mantığı göstermek içindir. Kendi sitenizde dönüşüm oranı, trafik ve hedef fark değişeceği için, hesaplamayı mutlaka kendi verinizle yapın. Güncel trafik rakamınızı analitik panelinizdeki son tam haftalardan alın; kampanya haftalarını dışarıda bırakın.

Anlamlılık, p değeri ve güven düzeyi ne anlatır?

Anlamlılık, gördüğünüz farkın tesadüfen ortaya çıkma olasılığının önceden seçtiğiniz eşiğin altında kalmasıdır. P değeri bu olasılığı gösterir. Örneğin eşik 0,05 ise, gerçekte fark yokken sonucun bu kadar uç çıkma ihtimali yaklaşık yirmide birdir.

Güven düzeyi ise bu eşiğin tamamlayıcısıdır. 95% güven, alfa değerini 0,05 seçmek demektir. NIST el kitabı bu değerin yaygın seçenekler arasında 0,1, 0,05 ve 0,01 olduğunu belirtir.

Ancak p değeri, "B'nin A'dan daha iyi olma olasılığı" değildir. Bu yaygın yanlış okumayı bırakın. P değeri yalnızca, fark olmasaydı bu veriyi görme olasılığını anlatır.

Ayrıca anlamlı bir sonuç, farkın işiniz için önemli olduğu anlamına gelmez. Bu ayrımı pratik anlamlılık bölümünde açıyoruz.

İki yönlü ve tek yönlü test seçimi de burada önem kazanır. İki yönlü test, B'nin hem daha iyi hem daha kötü olma ihtimalini kontrol eder. Emin olmadığınızda iki yönlü testi seçin. Çünkü yeni bir varyantın dönüşümü düşürmesi de gerçekçi bir sonuçtur ve bunu görmek istersiniz.

Güç ve minimum saptanabilir etki neden bu kadar önemlidir?

Güç, gerçekten var olan bir farkı yakalama olasılığınızdır. NIST'e göre güç, yanlış bir sıfır hipotezini doğru biçimde reddetme olasılığıdır. Düşük güçlü bir test, işe yarayan bir varyantı bile "fark yok" diye geçirebilir.

Minimum saptanabilir etki (MDE), testin yakalamayı hedeflediği en küçük farktır. Bu değeri iş kararı belirler. Örneğin yeni sayfanın geliştirme maliyetini çıkarabilmek için en az hangi artış gerekir, diye sorun.

İki hata yaygındır:

  1. MDE'yi gereksiz küçük seçip aylarca süren bir test kurmak.
  2. MDE'yi çok büyük seçip küçük ama değerli kazançları kaçırmak.

Dolayısıyla MDE, istatistik değil, önce bir yatırım kararıdır. Sonra hesaplayıcıya girdi olur.

Gücü de rastgele seçmeyin. Yaygın tercih 80% civarındadır; daha yüksek güç daha fazla ziyaretçi ister. Kritik bir karar için, örneğin fiyat ya da ödeme akışı için, gücü artırmak mantıklıdır. Düşük riskli bir metin denemesinde ise standart değerle ilerleyebilirsiniz.

Peeking nedir ve AB testi ne zaman durdurulur sorusunu nasıl bozar?

Peeking, test bitmeden sonuçlara bakıp karar vermektir. Bakmak tek başına zararsızdır. Sorun, bakış sonucuna göre testi durdurmaktır. Her bakışta "durdurayım mı?" diye sorarsanız, çoklu deneme yapmış olursunuz.

Pratik kural basittir: İzleme için bakın, karar için beklemeyin. Panelde veri akışını, hata ve trafik dağılımını kontrol edin. Ancak kazanan ilanını yalnızca planlanan örnekleme ulaşınca yapın.

Bazı araçlar ardışık test (sequential testing) yöntemi sunar. Bu yöntemde bakış sayısı baştan planlanır ve eşik buna göre ayarlanır. Böyle bir araç kullanıyorsanız, aracın belgesindeki durdurma kuralını aynen uygulayın. Klasik sabit örneklemli testte ise bu izin yoktur.

Ekip içinde bir kural koyun: Sonuç ekranını yalnızca iki kişi açsın ve yorumu planlı tarihte yapsın. Böylece "bir bakayım" refleksi toplantılara taşmaz. Ayrıca yöneticilere haftalık durum notunda yalnızca trafik ve hata bilgisini verin; kazanan tahmini paylaşmayın. Bu küçük disiplin, yanlış erken kararların çoğunu önler.

Kısacası, "bugün bakayım" diyebilirsiniz, ama "bugün kapatayım" demek için plan tarihini bekleyin.

Test süresi neden tam haftalara yuvarlanır?

Ziyaretçi davranışı haftalık bir ritim izler. Hafta içi ve hafta sonu ziyaretçileri farklı niyetle gelir. Ayrıca bazı işletmelerde maaş günü, kampanya günü ya da e-bülten günü talep yapısını değiştirir.

Bir testi örneğin Salı günü başlatıp Cuma günü kapatırsanız, bazı günleri fazla, bazılarını eksik temsil edersiniz. Bu yüzden testi tam hafta kadar çalıştırın. Çoğu zaman en az iki tam haftayı kapsamak daha sağlıklıdır.

Süreyi belirlerken şunlara bakın:

  • Satın alma kararı günler mi, haftalar mı sürüyor?
  • Dönemsel kampanya, tatil ya da büyük bir duyuru testin ortasına denk geliyor mu?
  • Trafik kaynağı karışımı test boyunca sabit mi kalıyor?

Satın alma döngünüz uzunsa, kısa bir test erken karar verdirir. Bu durumda dönüşüm gecikmesini hesaba katıp süreyi uzatın.

Örneğin form dolduran kişi bir hafta sonra satışa dönüşüyorsa, test bittiği gün satış verisi eksik kalır. Bu yüzden ana metriği satışa değil, kontrol edebildiğiniz bir üst adıma (form gönderimi gibi) bağlamak çoğu zaman daha pratiktir. Ancak o adımın gerçek satışla ilişkili olduğundan emin olun.

Plan dolmadan AB testi ne zaman durdurulur?

Erken durdurma, istisnai ve önceden tanımlı bir karardır. Üç durumda savunulabilir.

İlk durum veri bozukluğudur. Dönüşüm etiketi bir varyantta çalışmıyorsa, sonuç anlamsızdır. Bu durumda testi durdurun, hatayı düzeltin ve yeniden başlatın.

İkinci durum koruma metriğinin ciddi bozulmasıdır. Örneğin yeni varyantta form hatası artıyor ya da sayfa belirgin yavaşlıyor. Böyle bir zarar varsa kayıp, öğrenme kazancından büyüktür.

Üçüncü durum örnek oranı uyumsuzluğudur. Trafik beklenen oranda bölünmüyorsa, test düzeneği bozuktur. Bu durumu bir sonraki bölümde ele alıyoruz.

Üçünde de testi "kazandı" diye kapatmıyorsunuz. Bunun yerine, sorunu ve kararı test kaydına yazıyorsunuz. Böylece ekip aynı hatayı tekrarlamıyor.

Koruma metriği için önceden bir zarar eşiği yazın. Örneğin hata oranı belirli bir seviyeyi aşarsa test durur, diye not alın. Eşiği testin ortasında belirlerseniz, sonuca göre oynamış olursunuz. Eşiğin güncel değerini ekibinizle konuşup kendi işinize göre seçin.

Örnek oranı uyumsuzluğu (SRM) neden ilk bakılacak şeydir?

Örnek oranı uyumsuzluğu, trafiğin varyantlara planlanan oranda dağılmamasıdır. Eşit bölünmesi gereken bir testte A'ya 5.000, B'ye 4.400 ziyaretçi düşmesi buna örnektir. Fark küçük görünür, ama rastlantıyla açıklanamayabilir.

Bu durum çoğunlukla teknik bir sorunun işaretidir. Yönlendirme kodu bir varyantta yavaş çalışıyor, bot trafiği tek tarafa birikiyor ya da çerez kuralı bazı kullanıcıları dışarıda bırakıyor olabilir. Düzenek bozukken hesaplanan her metrik güvenilmez olur.

Bu yüzden sonuçlara bakmadan önce trafik bölünmesini kontrol edin. Hesaplayıcımız bunu bir ki-kare testiyle işaretler. Ancak bu kontrol eşit bölünme varsayar; bilerek eşit olmayan bir dağılım kurduysanız uyarıyı buna göre yorumlayın.

SRM uyarısı varsa, sonucu paylaşmayın. Önce nedeni bulun.

Nedenleri ararken şu sırayı izleyin: önce yönlendirme ve yükleme sırasını, sonra bot ve iç trafik filtrelerini, en sonda da tarayıcı ve cihaz dağılımını inceleyin. Çoğu zaman sorun, bir varyantın yavaş yüklenip bazı ziyaretçilerin sayfadan önce ayrılmasıdır. Bu durumda düzeneği düzeltmeden yeniden başlatmanın anlamı yoktur.

Sonuç anlamlı çıkmazsa AB testi ne zaman durdurulur?

Anlamlı çıkmayan test, başarısız test değildir. Yalnızca eldeki veriyle farkı ayırt edemediğinizi gösterir. NIST bu konuda nettir: Sıfır hipotezini reddedememek, onun doğru olduğunu kanıtlamaz.

Önce nedenini sorun. Örneklem planın altında mı kaldı? Etki beklenenden küçük mü çıktı? Hipotez zayıf mıydı? Her birinin çözümü farklıdır.

Sonrasında üç seçeneğiniz var:

  1. Mevcut sürümde kalın. Varyant iyi çıkmadıysa, riski almak için sebep yoktur.
  2. Daha büyük bir değişiklik deneyin. Küçük metin ve renk farkları çoğu sitede ayırt edilemez.
  3. Testi daha fazla veriyle uzatmayın. Plan dışı uzatma, peeking'in başka bir biçimidir.

Sonucu "belirsiz" olarak kaydedin ve neyi öğrendiğinizi yazın. İyi bir öğrenme kaydı, bir sonraki testin hipotezini güçlendirir.

Örneğin "başlık değişikliği tek başına yetmedi" notu, bir sonraki testte teklifin kendisine odaklanmanız için güçlü bir işarettir. Böylece anlamsız sonuç bile bir yön verir. Önemli olan, o testten sonra karar vermeyi bırakmamak: Mevcut sürümü koruyun ve sıradaki hipotezi seçin.

Üç ve daha fazla varyantta kural nasıl değişir?

Varyant sayısı arttıkça karşılaştırma sayısı da artar. Her karşılaştırma ayrı bir şans sunar; dolayısıyla tesadüfen anlamlı görünen bir sonuç bulma ihtimali yükselir.

Bunu dengelemek için düzeltme yöntemleri kullanılır. Bonferroni düzeltmesi en basitidir: eşiği karşılaştırma sayısına bölersiniz. Örneğin 95% güvende iki karşılaştırma varsa, her biri için alfa değeri 0,025 olur. Hesaplayıcımız üç ve üzeri varyantta bunu otomatik uygular.

Ayrıca her ek varyant, toplam ziyaretçi ihtiyacını büyütür. Trafiğiniz sınırlıysa, bir seferde iki varyantla ilerleyin.

Bir başka tuzak da testi bitirdikten sonra alt gruplara bakıp kazanan aramaktır. Mobil, yeni ziyaretçi, belirli kaynak gibi dilimleri tek tek gezerseniz, bir yerde mutlaka "anlamlı" bir sonuç bulursunuz. Bu dilimleri önceden planlamadıysanız, bulguyu yeni bir test için hipotez sayın.

Bu yaklaşımı basit bir cümleyle özetleyebiliriz: Keşif analizi hipotez üretir, test ise onu doğrular. İkisini karıştırmayın. Alt grup analizinde ilginç bir örüntü bulursanız, onu ayrı ve planlı bir testle sınayın; mevcut testin kazananını bu bulguya göre değiştirmeyin.

Anlamlı ama küçük fark: pratik anlamlılık nedir?

İstatistiksel anlamlılık, farkın gerçek olabileceğini söyler; ancak büyüklüğü hakkında bir şey söylemez. NIST bu konuda uyarır: Çok büyük bir örneklem, işiniz için önemsiz bir farkı bile istatistiksel olarak anlamlı gösterebilir. Küçük bir örneklem ise önemli bir farkı kaçırabilir.

Bu yüzden iki soruyu birlikte sorun:

  • Fark tesadüf olamayacak kadar net mi? (istatistiksel anlamlılık)
  • Fark kararınızı değiştirecek kadar büyük mü? (pratik anlamlılık)

Örneğin güven aralığı çok geniş çıkıyorsa, kazancın alt sınırı sıfıra yakın olabilir. Böyle bir durumda varyantı yayına almak risklidir. Alt sınırın bile maliyeti karşıladığı bir sonuç, daha güvenli karardır.

Bu yaklaşım, ekiplerin en sık düştüğü hatayı da önler: Küçük bir artışı büyük bir başarı gibi sunmak. Güven aralığını sunumda gösterin. Yöneticiye "yüzde şu kadar artış" demek yerine, "şu ile şu arasında bir artış bekliyoruz" demek daha dürüst ve daha güvenlidir.

Ayrıca dönüşüm oranı artsa da gelir ya da iade gibi koruma metrikleri kötüleşiyorsa, kazananı ilan etmeyin. Tek bir sayıya değil, tabloya bakın.

Google Ads deneylerinde durdurma kuralı nasıl işler?

Reklam hesabında kurduğunuz deneyler de aynı mantıkla okunur. Google Ads Yardım, deney sonuçlarında anlamlı sonucun mavi bir yıldızla işaretlendiğini ve bunun verinin büyük olasılıkla tesadüf olmadığını gösterdiğini anlatır. Ayrıntılar için Google Ads Yardım'daki deney izleme sayfasına bakın.

Aynı sayfa, deneyin yeterince veri toplaması için çoğunlukla 2 ila 3 hafta çalıştırılmasını önerir. Sonuç anlamsız kalırsa trafik azlığı, küçük bölünme ya da gerçekten küçük fark gibi nedenler olabilir. Güven aralığının varsayılan düzeyi de ayarlanabilir; güncel değeri kendi hesabınızdaki özet tablosundan doğrulayın.

Reklam deneylerinin kurulumu için Google Ads deneyleri ve taslaklar yazımıza göz atın. Yine de kural değişmez: Süreyi önceden belirleyin ve onu yarıda kesmeyin.

Reklam deneylerinde ek bir tuzak vardır: Platformun otomatik teklif sistemleri öğrenme dönemi geçirir. Deneyin ilk günlerinde sonuç oynak olabilir. Bu yüzden öğrenme dönemini de süreye katın ve ilk günlerdeki dalgalanmaya göre karar vermeyin. Bütçeyi ve trafik bölünmesini de deney boyunca değiştirmeyin.

AB testi ne zaman durdurulur: karar tablosu nasıl okunur?

Aşağıdaki tablo, test sırasında karşınıza çıkan durumlar için pratik bir karar rehberidir. Kendi plan tarihinize ve koruma metriklerinize göre uyarlayın.

DurumKararNeden
Örneklem ve tam hafta süresi doldu, sonuç anlamlıDurdur, uygulaPlan tamamlandı, karar güvenilir
Örneklem doldu, sonuç anlamlı değilDurdur, "belirsiz" yazFark ayırt edilemedi, uzatmak peeking olur
Plan dolmadan anlamlılık çıktıDevam etDalgalanma geçici olabilir
Etiket ya da ölçüm hatası bulunduİptal et, düzelt, yeniden başlatVeri güvenilmez
SRM uyarısı varİptal et, nedeni bulDüzenek bozuk
Koruma metriği ciddi bozulduPlanlı zarar eşiğinde durdurKayıp öğrenmeden büyük
Tam hafta döngüsü bitmediDevam etGünlük ritim eksik kalır

Durdurma öncesi kontrol listesi nedir?

Kazananı ilan etmeden önce bu listeyi sırayla geçin. Her madde, bir önceki bölümdeki bir tuzağa karşılık gelir.

  1. Planlanan örneklem büyüklüğüne ulaştınız mı?
  2. Tam hafta döngülerini tamamladınız mı?
  3. Trafik bölünmesi planlanan orana uyuyor mu (SRM kontrolü)?
  4. Dönüşüm etiketi iki varyantta da doğru çalışıyor mu?
  5. Ana metrikte sonuç, seçtiğiniz güven düzeyinde anlamlı mı?
  6. Güven aralığının alt sınırı bile işinize değer katıyor mu?
  7. Koruma metrikleri aynı ya da daha iyi mi?
  8. Test sırasında kampanya, fiyat ya da site değişikliği yaptınız mı?
  9. Sonucu ve öğrendiğinizi test kaydına yazdınız mı?

Bu dokuz maddeden biri "hayır" ise, kararı ertelemek ya da testi "belirsiz" saymak daha dürüst bir seçimdir. Listeyi test planınızın altına ekleyin ve her testte aynı sırayla işaretleyin; alışkanlık hâline geldiğinde birkaç dakikanızı alır.

Hesaplayıcıyla sonucu nasıl okursunuz?

Test bittiğinde verileri tek tek girmenizi öneririz. A/B testi anlamlılık hesaplayıcı aracını açın, A için ziyaretçi ve dönüşüm sayısını, B için aynı değerleri girin. Güven düzeyini planınızdaki değere, test türünü ise iki yönlüye ayarlayın.

Araç anlamlılık rozetini, göreli artışı ve artış için güven aralığını gösterir. Ayrıca p değerini, gözlenen gücü ve veri uyarılarını verir. Örnek oranı kontrolünü de bu ekranda görürsünüz. Yani tek bir ekranda hem sonucu hem de düzeneğin sağlığını okursunuz.

Dönüşüm sayısı çok azsa (örneğin 10'un altında) araç bir uyarı gösterir. Böyle bir veriyle karar vermeyin.

Araç yalnızca ikili dönüşüm metrikleri içindir. Gelir ya da sepet tutarı gibi sürekli ölçüler için başka bir test gerekir.

Dönüşüm oranının kendisini önce kontrol etmek isterseniz dönüşüm oranı hesaplama aracı işinizi görür.

Test sonuçlarını nasıl kaydedersiniz ve bir sonraki teste nasıl bağlarsınız?

Her test iki şey üretir: bir karar ve bir öğrenme. Karar yayına alınır, öğrenme ise kaybolur. Bu yüzden her test için kısa bir kayıt tutun.

Kayıtta şu alanlar olsun: hipotez, tarih aralığı, örneklem, sonuç, güven aralığı, karar ve öğrenme. Üç ay sonra aynı fikri yeniden test etmeniz gerekmez; kayda bakar, geçen sefer neden başarısız olduğunu görürsünüz.

Fikir listesini ve öncelik sırasını kurmak için pazarlama deney listesi yazımız yol gösterir. İlk testinizi kurarken ise A/B testine başlarken rehberimizi izleyin.

Arama tarafında benzer bir disiplin gerekir; SEO A/B testi nasıl yapılır yazısında bu farkları anlattık.

Test için doğru araçları ve verileri nereden alırsınız?

Test kurmak için ısı haritası ve oturum kaydı gibi araçlar, hipotez üretmeye yardım eder. Ayrıca kullanıcıların nerede takıldığını görmek, test fikirlerinizi tahminden çıkarıp gözleme dayandırır. Ancak hangi aracın hangi soruya yaradığını bilmek gerekir. Kardeş yazımız CRO için hangi araçlar gerekir sorusunu ayrıntılı yanıtlıyor.

Hipotezi veriyle beslemek için Microsoft Clarity ısı haritası ve oturum kaydı yazımıza bakın. Dönüşümü neden ölçtüğünüzü netleştirmek için dönüşüm optimizasyonu ne zaman yapılır yazısı iyi bir başlangıçtır.

Trafiğiniz azsa, önce basit düzeltmeleri düşünün. Örneğin landing page optimizasyonu rehberimiz çoğu sitede testten önce yapılacak işleri sıralar. Her şeyi test etmek zorunda değilsiniz. Bazı sorunlar o kadar belirgindir ki, düzeltip sonucu izlemek daha hızlı ve daha ucuzdur. Yeter ki düzeltmeyi yaparken kayıt tutun ve öncesi ile sonrasını aynı metrikle karşılaştırın.

Testleri tek başınıza yürütemediğinizde ne yaparsınız?

Birçok işletme testi kurar, ama süre, örneklem ve sonuç yorumunda takılır. Üstelik bu takılma sessiz ilerler: Test biter, bir sonuç çıkar ve kimse güvenilir olup olmadığını sorgulamaz. Bu normaldir; çünkü bu iş istatistik, ölçüm ve tasarımı birleştirir. Kendi başınıza çözebileceğiniz kısımları yukarıdaki rehberle halledebilirsiniz.

Yine de test edilecek sayfanın tasarımı, ölçüm kurulumu ya da sonuçların yorumu için destek gerekirse, Talha Aslan ve ekibi olarak yanınızdayız. Sürecin bu bölümünde web tasarım hizmeti sayfamızdan çalışma biçimimizi inceleyebilirsiniz.

Bir not: Hiçbir test, sonucu önceden garanti etmez. Üstelik her test, işletmenizin kendi trafiğine ve kendi müşterisine özgüdür; başka sitede kazanan bir fikir sizde kazanmayabilir. İyi bir ekip size kazanç vaat etmez; doğru kurulmuş, temiz okunmuş ve öğrenmeye dönüşen testler sağlar.

Temel rehber: Dijital Pazarlama Nedir? Türleri, örnekleri ve nasıl yapıldığı, beynin içinden geçen etkileşimli bir filmle tek sayfada.

Sıkça Sorulan Sorular

A/B testi en az kaç gün çalışmalı?
Süreyi gün sayısı değil, önceden hesapladığınız örneklem belirler. Yine de en az bir tam hafta döngüsünü, tercihen iki tam haftayı kapsayın. Çünkü hafta içi ve hafta sonu davranışı farklıdır. Hesaplayıcının önerdiği süreyi tam haftaya yuvarlayın ve o süre dolmadan karar vermeyin. Kampanya ya da tatil haftalarını da hesaba katın.
P değeri 0,05'in altına inince testi bitirebilir miyim?
Hayır, tek başına yetmez. P değeri hedef örnekleme ulaşmadan dalgalanır ve geçici olarak eşiğin altına inebilir. Bu duruma peeking denir. Önce planladığınız örneklem ve süre dolsun, ardından anlamlılık, etki büyüklüğü ve koruma metriklerini birlikte okuyup karar verin. Böylece geçici bir dalgalanmayı kazanan sanmazsınız.
Test anlamlı çıkmazsa varyant işe yaramıyor mu demektir?
Hayır. Anlamlı çıkmayan sonuç, etkinin olmadığını değil, mevcut veriyle etkiyi ayırt edemediğinizi gösterir. Örneklem küçük kalmış, etki beklenenden düşük olmuş ya da fark gerçekten çok küçük olabilir. Sonucu "belirsiz" diye kaydedin, hipotezi gözden geçirin ve gerekirse daha büyük bir etkiyi hedefleyen yeni bir test kurun. Mevcut sürümü koruyarak ilerlemek de meşru bir karardır.
Testi erken durdurmak ne zaman doğrudur?
Üç durumda erken durdurma savunulabilir: ölçüm hatası ya da bozuk varyant bulduğunuzda, trafik dağılımında örnek oranı uyumsuzluğu çıktığında ve koruma metriğinde ciddi zarar gördüğünüzde. Bu durumda sonucu kazanan ilan etmeyin. Sorunu düzeltin, bozuk dönemin verisini dışarıda bırakın ve testi temiz bir başlangıçla yeniden çalıştırın. Aksi hâlde kirli veriyle karar vermiş olursunuz.
Üç veya dört varyantlı testte anlamlılık eşiği değişir mi?
Evet. Çok sayıda karşılaştırma yaptıkça tesadüfen anlamlı görünen sonuç olasılığı artar. Bu yüzden düzeltme yöntemleri kullanılır; örneğin Bonferroni düzeltmesi, eşiği karşılaştırma sayısına böler. Hesaplayıcı üç ve üzeri varyantta bunu uygular. Daha az varyantla başlamak örneklem ihtiyacını da düşürür. Bu yüzden önce iki varyantla ilerleyin.
Düşük trafikli sitede A/B testi yapmanın anlamı var mı?
Çoğu zaman sınırlıdır. Küçük etkileri ayırt etmek için gereken ziyaretçi sayısına haftalar içinde ulaşamayabilirsiniz. Bu durumda daha büyük, cesur değişiklikleri test edin, mikro dönüşümleri ölçün ya da testi bırakıp kullanıcı kayıtları ve görüşmelerle öğrenin. Hesaplayıcıdaki örneklem sekmesi, bu testin sizin trafiğinizle gerçekçi olup olmadığını önceden gösterir.
  • a/b testi
  • istatistiksel anlamlılık
  • örneklem büyüklüğü
  • peeking
  • dönüşüm optimizasyonu
  • test süresi
  • p değeri
Paylaş:
Talha Aslan

Google Partner dijital pazarlama uzmanı. 2012’den beri SEO, Google Ads, web tasarım ve e-ticaret projelerinde sahada; bu blogda gördüğünüz her yazı o deneyimden çıkar.

Sıradaki proje

Projeniz için teklif alın.

Talebiniz doğrudan Talha Aslan ve ekibine ulaşır: stratejiyi Talha kurar, uygulamayı deneyimli ekip yürütür. Aynı gün dönüş yapar, kapsamı, takvimi ve tutarı yazılı teklifle 1 iş günü içinde göndeririz.