A/B Testi Hesaplama

A/B testi hesaplama nedir, hangi soruyu cevaplar?

A/B testi hesaplama, iki sürüm arasında gördüğünüz dönüşüm farkının gerçek mi yoksa şans eseri mi olduğunu sayılarla gösterir. Bir açılış sayfasının iki başlığını, iki reklam metnini ya da iki fiyat sunumunu aynı dönemde farklı ziyaretçilere gösterirsiniz. Ardından her sürümün ziyaretçi ve dönüşüm sayısını araca yazarsınız. Araç da bu sayılardan p-değerini, güven düzeyini ve artışın güven aralığını çıkarır.

Bu hesap tek başına “hangisi daha iyi?” sorusunu cevaplamaz. Asıl cevapladığı soru şudur: bu fark, veri yeniden toplansa da büyük olasılıkla sürer mi? Örneğin B sürümü %17,5 daha fazla dönüşüm getirdiyse ama örneklem küçükse, aynı fark bir sonraki hafta kaybolabilir. Bu yüzden araçta üç çıktıyı birlikte okumanızı öneririm:

• Rozet: fark seçtiğiniz güven düzeyinde anlamlı mı?
• Güven aralığı: gerçek artış hangi aralıkta olabilir?
• Veri kontrolü: trafik iki varyanta dengeli dağıldı mı, veri yeterli mi?

Testi reklam tarafında kuruyorsanız ölçüm temiz olmalı. Örneğin UTM oluşturucu ile her varyantın trafiğini ayrı etiketlemek, sonradan kaynak karışıklığını önler.

p-değeri ve güven düzeyi size ne söyler, ne söylemez?

p-değeri, A ile B arasında gerçekte hiçbir fark yokken en az gördüğünüz kadar büyük bir farkın şans eseri ortaya çıkma olasılığıdır. Örneğin p = 0,0079 çıktıysa, eşit performanslı iki sürümün bu kadar ayrışma ihtimali yaklaşık binde 8'dir. Araç bu değeri %95 güven düzeyinde 0,05 eşiğiyle karşılaştırır; altında kalırsa rozet “Anlamlı” olur.

Güven kartındaki yüzde ise 1 eksi p-değeridir. Ancak bu sayı “B'nin daha iyi olma olasılığı %99,2” anlamına gelmez; bu yaygın bir yanlış okumadır. Amerikan İstatistik Derneği'nin p-değeri bildirgesi de iki noktanın altını çizer:

• p-değeri etkinin büyüklüğünü veya önemini ölçmez.
• İş kararları yalnızca p-değerinin bir eşiği geçip geçmemesine dayanmamalıdır.

Bu nedenle araçta p-değerinin yanında artışın güven aralığını da veriyorum. Aralık +%4,6 ile +%30,4 arasındaysa artış anlamlıdır, fakat gerçek etki küçük de olabilir, büyük de. Karar verirken aralığın alt ucunu, yani en kötümser senaryoyu, iş hedefinizle karşılaştırın.

A/B testi hesaplama öncesinde örneklem büyüklüğünü nasıl belirlersiniz?

A/B testi hesaplama işinin yarısını test başlamadan önce yaparsınız. Örneklem Büyüklüğü sekmesi dört girdiyle çalışır: mevcut dönüşüm oranınız, yakalamak istediğiniz en küçük etki (MDE), güven düzeyi ve test gücü. Güç, gerçekte var olan bir farkı yakalama olasılığıdır; istatistikte yaygın varsayılan %80'dir.

Formülün mantığı basit: küçük farkları görmek için çok veri gerekir. Örnek hesap: %5 dönüşüm oranında %10'luk göreli artışı %95 güven ve %80 güçle yakalamak için varyant başına 31.234 ziyaretçi gerekir. Hedefi %20'ye çıkarırsanız ihtiyaç 8.158'e iner. Kısacası MDE'yi yarıya indirmek, örneklemi yaklaşık dört katına çıkarır.

Günlük ziyaretçi sayısını da yazarsanız araç süreyi hesaplar ve tam haftaya yuvarlar. Böylece hafta içi ve hafta sonu davranışı iki varyantta eşit yer tutar. Süre uzun çıkıyorsa üç seçeneğiniz var:

• Daha büyük bir değişikliği test edin, yani MDE'yi büyütün.
• Teste daha fazla trafik gönderin; bütçe tarafı için Google Ads bütçe rehberime bakabilirsiniz.
• Hedefi huninin daha üst adımına taşıyın, örneğin satış yerine sepete eklemeyi ölçün.

Testi erken bitirmek neden yanlış kazanan üretir?

En pahalı A/B testi hatası, sonuca her gün bakıp ilk “anlamlı” gördüğünüz anda testi durdurmaktır. Her ara bakış, şansın size yanlış bir kazanan gösterme ihtimalini artırır. Evan Miller'ın A/B testi hataları yazısındaki örnek senaryoda bu yaklaşım, %5 sandığınız yanlış pozitif oranını %26,1'e çıkarıyor.

Aynı kaynağa göre testi 10 kez ara kontrol edecekseniz, gerçek %5 düzeyini korumak için raporlanan anlamlılığın %1'e inmesini beklemeniz gerekir. Pratikte en temiz yol şu üç adımdır:

1. Örneklemi ve süreyi test başlamadan Örneklem Büyüklüğü sekmesiyle belirleyin.
2. Test sürerken yalnız teknik sorunları, yani sayfanın açılıp açılmadığını ve SRM uyarısını izleyin.
3. Planlanan ziyaretçi sayısına ulaşınca sonucu bir kez okuyun ve kararı verin.

Ayrıca kazanan ilan ettiğiniz varyantın etkisi, ilk haftalardaki yenilik etkisi geçince azalabilir. Bu yüzden büyük değişiklikleri yayına aldıktan sonra da dönüşüm oranını birkaç hafta izliyorum.

SRM uyarısı çıkarsa ne yapmalısınız?

SRM (sample ratio mismatch), yani örneklem oranı uyumsuzluğu, trafiği eşit bölmeyi planladığınız hâlde varyantlara düşen ziyaretçi sayısının beklenmedik ölçüde ayrışmasıdır. Araç bunu ki-kare testiyle kontrol eder ve p < 0,01 olduğunda veri kontrolü kutusunda uyarı gösterir. Örneğin 20.000 ve 19.000'lik bir bölünme ilk bakışta masum görünür; ancak bu hacimde eşit dağılımdan beklenmeyecek bir sapmadır.

Microsoft Research'ün SRM teşhis rehberine göre Microsoft'taki A/B testlerinin yaklaşık %6'sında SRM çıkıyor. Ekip sonuçları göstermeden önce daha da katı bir eşik, p < 0,0005 kullanıyor. Sık rastlanan nedenler şunlar:

• Kullanıcıları varyantlara atayan koddaki hatalar.
• Varyant sayfasına yönlendirme sırasında kaybolan ziyaretçiler.
• Bir varyantta sayfanın geç açılması ya da hata vermesi yüzünden eksik kalan kayıtlar.
• Test sürerken trafik oranını elle değiştirmek.

SRM varken p-değerine güvenmeyin. Önce nedeni bulun, düzeltin ve testi yeniden başlatın. Bilerek eşit olmayan bir dağılım kullanıyorsanız, örneğin 90/10, bu kontrol size uymaz; o durumda uyarıyı dikkate almayın.

Üç varyantta Bonferroni düzeltmesi neden gerekli?

+ C varyantı düğmesine bastığınızda araç B'yi ve C'yi ayrı ayrı A ile karşılaştırır. Her karşılaştırma şansa bir kez daha kapı açar; iki karşılaştırmada %5'lik hata payı toplamda neredeyse %10'a çıkar. Bonferroni düzeltmesi bu yüzden anlamlılık eşiğini karşılaştırma sayısına böler. Yani %95 güvende araç her karşılaştırmayı α = 0,025 ile değerlendirir.

Örnek hesap: A'da 5.000 ziyaretçi ve 150 dönüşüm, B'de 5.100 ziyaretçi ve 180 dönüşüm, C'de 4.950 ziyaretçi ve 190 dönüşüm olsun. C'nin artışı +%27,9, p-değeri 0,0214; bu değer 0,025'in altında kaldığı için C anlamlı çıkar. B ise +%17,6 artışa rağmen p = 0,1346 ile anlamlı değildir. Araç başlıkta en yüksek oranlı varyantı gösterir; grafikte de her varyantın yanına A'ya göre artışını ve p-değerini yazar.

Düzeltmenin bir bedeli de var: gücü düşürür, dolayısıyla aynı farkı yakalamak için her varyanta daha çok ziyaretçi gerekir. Örneklem Büyüklüğü sekmesinde varyant sayısını artırdığınızda araç aynı düzeltmeyi uygular. Trafiğiniz sınırlıysa üç varyant yerine iki güçlü fikri test etmenizi öneririm.

Bayesçi kazanma olasılığını nasıl okumalısınız?

P(B > A) kartı klasik testten farklı bir soruyu cevaplar: elimdeki veriyle B'nin gerçek dönüşüm oranının A'nınkinden yüksek olma olasılığı nedir? Araç her varyant için Beta(dönüşüm + 1, ziyaretçi - dönüşüm + 1) dağılımını kurar ve iki dağılımın farkını normal yaklaşımla hesaplar. Başlangıç varsayımı düzdür, yani araç hiçbir varyantı önceden kayırmaz.

Yöneticilere anlatması en kolay çıktı budur, çünkü “B'nin daha iyi olma ihtimali %99,6” cümlesini herkes doğrudan anlar. Yine de iki uyarım var:

• Olasılık yüksek olsa bile artış küçük olabilir; bu kartı güven aralığıyla birlikte okuyun.
• Bayesçi yaklaşım da sık bakıp erken durdurmaya karşı bağışık değil; önceden belirlediğiniz örneklem kuralı burada da geçerli.

Gözlenen güç kartı ise planlama için değil, bilgi içindir. p-değerinden türer ve testin yeterince büyük olduğunu geriye dönük olarak kanıtlamaz. Yeni bir test planlarken her zaman Örneklem Büyüklüğü sekmesindeki güç ayarını esas alın.

Google Ads ve açılış sayfası testlerinde nasıl bir düzen kurmalısınız?

Reklam tarafında Google Ads'in deney özelliği trafiği ve bütçeyi bölerek kampanya değişikliklerini test etmenizi sağlar. Google, deney yardım sayfalarında trafiği %50 bölmeyi, deneyi en az 4 ila 6 hafta çalıştırmayı ve 1 ila 2 dönüşüm döngüsü beklemeyi öneriyor. Ayrıca ilk 7 günün verisini hazırlık dönemi olarak değerlendirme dışında bırakıyor. Sonucu bu araçla ikinci kez kontrol etmek için deney raporundaki tıklama ve dönüşüm sayılarını girebilirsiniz.

Açılış sayfası testlerinde SEO'yu da korumanız gerekir. Google Search Central, test sırasında şu kuralları öneriyor:

• Googlebot'a ziyaretçiden farklı içerik göstermeyin, yani gizleme yapmayın.
• Varyantlar ayrı adreslerdeyse hepsine asıl sayfayı gösteren canonical etiketi ekleyin.
• Yönlendirmeyle test ediyorsanız kalıcı 301 yerine geçici 302 yönlendirmesi kullanın.
• Test bitince kazanan sürümü yayına alın ve test kodunu kaldırın.

Kurumsal projelerde bu düzeni Google Ads yönetimi sürecinin parçası olarak kuruyorum. Dönüşüm tarafını ise kurumsal web sitesinde CRO yazımda adım adım anlattım. Kazanan varyantın reklam kârlılığına etkisini görmek için ROAS hesaplayıcı da işinize yarar.