Dijital Pazarlama

AB Testi Nedir, Nasıl Yapılır? Pazarlamada 8 Temel Özellik

Talha Aslan 15 dakikalık okuma 3 görüntülenme

Kısa cevap

AB testi nedir ve pazarlamada ne işe yarar?

AB testi, aynı sayfanın ya da reklamın iki sürümünü eşzamanlı biçimde farklı kullanıcı gruplarına gösterip hedef metrikte hangisinin daha iyi sonuç verdiğini ölçen kontrollü bir karşılaştırmadır. Trafiği rastgele böldüğünüz için mevsim, kampanya ve kaynak farkları iki grupta da benzer kalır; aradaki fark büyük ölçüde test ettiğiniz tek değişkenden gelir.

Tüm detaylar ve örnekler için yazıya devam edin

Bir buton metnini değiştirdiniz ve dönüşüm düştü. Peki gerçekten buton mu suçlu, yoksa o hafta trafiğin kaynağı mı değişti? AB testi, yani kimi yerde A/B testi diye yazılan yöntem, tam bu soruyu yanıtlamak için var. Talha Aslan ve ekibi olarak sahada gördüğümüz sorun çoğu zaman testin kurulmasında değil, yorumlanmasında çıkıyor. Bu rehberde pazarlamacıların AB testi hakkında bilmesi gereken 8 özelliği, hipotezden yayına kadar sırayla ele alıyoruz. Örnek hesaplar için a/b testi hesaplama aracımızı da yanınıza alın.

Pazarlamada bu yöntemin değeri tahmini azaltmasıdır. Toplantıda "bence kırmızı daha iyi" tartışması yerine, elinizde iki grubun aynı dönemde ürettiği veri olur. Ayrıca her test bir sonraki testin hipotezini besler. Böylece zamanla sitenizin hangi vaadine, hangi kanıta ve hangi adım sayısına tepki verdiğini öğrenirsiniz.

Yöntemin bir başka faydası da risk yönetimidir. Yeni bir kurguyu tüm trafiğe açmak yerine yarısına açarsınız; sonuç kötüyse kaybınız yarıya iner. Böylece büyük değişiklikleri daha az korkuyla deneyebilirsiniz.

Yine de bu yöntem her soruya cevap vermez. Marka algısı, uzun satış döngüsü ve çok az trafik alan sayfalar için daha uygun yöntemler gerekir. Kısacası AB testi bir karar aracıdır, strateji değildir.

Pazarlamacıların AB testi hakkında bilmesi gereken 8 özellik neler?

Aşağıdaki sekiz özellik, testin kurulumundan yayına alınmasına kadar sürecin tamamını kapsıyor. Her maddeyi ayrı bölümde açıyoruz; önce listeye bakıp hangi adımda tıkandığınızı işaretlemeniz işinizi kolaylaştırır.

  1. Her test yazılı bir hipotezle başlar.
  2. Örneklem büyüklüğünü testten önce hesaplarsınız.
  3. İstatistiksel anlamlılık yalnız belirli bir soruyu yanıtlar.
  4. Durdurma kuralını baştan yazarsınız.
  5. Tek değişken ile çok değişkenli kurgu farklı amaçlara hizmet eder.
  6. Birincil metrik tek olur, ikincil metrikler gözlem amaçlıdır.
  7. Arama motoru görünürlüğü için resmi kurallar vardır.
  8. Kazanan varyantı yayına almak ayrı bir iştir.

Dikkat edin: maddelerin sırası tesadüf değil. Örneğin dördüncü maddeyi atlarsanız üçüncü madde sizi yanlış karara götürür.

Özellik 1: AB testi neden yazılı bir hipotezle başlar?

Hipotez, testin pusulasıdır. Yazılı olmadığında ekip sonucu kendi beklentisine göre yorumlar. Bu nedenle tek cümlelik bir kalıp kullanırız: "Ürün sayfasında kargo süresini fiyatın yanına taşırsak, sepete ekleme oranı artar; çünkü kullanıcı karar anında en çok bu bilgiyi arıyor."

Bu cümlede üç parça var: değişiklik, beklenen etki ve gerekçe. Gerekçe kısmı en kıymetlisidir, zira testi kaybettiğinizde bile öğrenme bırakır. Ayrıca gerekçeyi veriye dayandırmanız gerekir. Isı haritası, oturum kaydı, site içi arama terimleri ve müşteri hizmetleri notları iyi başlangıçlardır; ısı haritası ve oturum kaydı incelemesi çoğu zaman ilk hipotez listesini tek başına çıkarır.

Hipotez listesini önceliklendirirken üç ölçüt kullanıyoruz: kanıtın gücü, uygulama maliyeti ve etkinin büyüklüğü. Örneğin müşteri hizmetlerine haftada beş kez gelen bir soru, güçlü kanıt sayılır. Buna karşılık yalnız bir toplantıda dile gelmiş fikir, listenin alt sırasında bekler.

İlk testini kuran ekiplere önerimiz nettir: üç hipotez yazın, en çok kanıtı olanı seçin. ilk AB testini kurma adımlarını ayrıca anlattık, o yüzden burada tekrar etmiyoruz.

Özellik 2: Örneklem büyüklüğünü neden testten önce hesaplarsınız?

Örneklem büyüklüğü, testin ne kadar küçük bir farkı görebileceğini belirler. Günlük 40 dönüşüm alan bir sayfada yüzde bir puanlık fark aramak, aylarca beklemek demektir. Dolayısıyla testi kurmadan önce şu üç sayıyı masaya koyarsınız.

  • Mevcut dönüşüm oranınız, yani başlangıç noktası.
  • Görmek istediğiniz en küçük anlamlı fark.
  • Günlük ya da haftalık kullanıcı sayınız.

Bu üç sayı elinizde olduğunda testin kaç gün süreceğini önceden görürsünüz. Sonuç makul değilse testi küçültmek yerine soruyu büyütün: buton rengi yerine sayfanın vaadini, akış adımlarını ya da fiyat sunumunu test edin. Büyük değişiklikler daha büyük fark üretir ve daha kısa sürede ölçülebilir hale gelir.

Hesabı yaparken bir noktayı atlamayın: örneklem, kullanıcı sayısı değil dönüşüm sayısıyla anlam kazanır. Günde bin ziyaretçi alıp iki satış yapan bir sayfa, aslında düşük trafikli sayılır. Dolayısıyla planı ziyaret değil dönüşüm üzerinden kurarsınız.

Düşük trafikli sitelerde başka bir yol daha var. Önce dönüşümü değil, ona giden küçük adımları ölçersiniz; mikro dönüşüm ölçümü bu açıdan trafik ihtiyacını düşürür.

Özellik 3: İstatistiksel anlamlılık gerçekte ne söyler?

Anlamlılık, gözlediğiniz farkın yalnız rastgelelikten gelme olasılığının düşük olduğunu söyler. Daha fazlasını söylemez. Özellikle şunu söylemez: "bu varyant kalıcı olarak daha iyidir." Üstelik testi her gün açıp sonuca baktığınızda, erken bir sapmayı kazanç sanma riskiniz artar.

Pratikte üç kavramı birlikte okumanız gerekir.

KavramNe söyler?Nasıl yanlış okunur?
Anlamlılık düzeyiFarkın rastlantı olma olasılığı düşük.Kesin kazanan ilan etmek.
Güven aralığıGerçek etkinin hangi aralıkta olabileceği.Tek bir yüzdeye kilitlenmek.
Test gücüVar olan farkı yakalama şansınız.Küçük örneklemle sonuç beklemek.

Bir de şu alışkanlıktan vazgeçmek gerekir: testi günde birkaç kez açıp bakmak. Her bakış, rastlantısal bir sapmayı kazanç sanma şansını artırır. Bu yüzden raporu yalnız durdurma kuralı sağlandığında açarız; ara bakışlarda ise yalnız teknik hata olup olmadığını kontrol ederiz.

Güven aralığı sıfırı içeriyorsa elinizde karar yoktur. Bu durumda testi uzatmak ya da hipotezi büyütmek gerekir. Konunun hesap tarafını istatistiksel anlamlılık rehberimizde ayrıntılı işledik.

Özellik 4: Testi ne zaman durdurursunuz?

Durdurma kuralını testten önce yazarsınız; sonradan yazılan kural, sonucu kendinize göre eğmenin kibar adıdır. Kuralın içinde iki şart bulunur: hedeflenen örneklem sayısı ve tam hafta döngüsü.

Tam hafta önemlidir, çünkü hafta içi ve hafta sonu davranışı birbirinden ayrışır. Üç gün süren bir test, yalnız belirli bir kullanıcı tipini ölçer. Ayrıca kampanya dönemlerinde test başlatmamaya çalışırız; indirim trafiği normal davranışı bozar.

  1. Hedef örneklem sayısına ulaşın.
  2. En az bir tam haftayı tamamlayın.
  3. Sonucu bir kez okuyun ve kararı yazın.
  4. Kararı ekip içinde aynı gün paylaşın.

Testi erken kapatmak isteyeceğiniz anlar olacak. Genelde ilk günlerde büyük bir fark görünür, sonra fark erir. Bu yüzden ekip içinde tek bir kural koyarız: kuralı yalnız teknik bir arıza, ölçüm hatası ya da ciddi bir kullanıcı şikâyeti bozabilir.

Kararı yazmak kulağa küçük geliyor; yine de en çok fayda bu adımdan çıkar. Altı ay sonra "bunu neden değiştirmiştik" sorusuna cevap verecek tek kayıt o nottur.

Özellik 5: Tek değişken mi, çok değişkenli kurgu mu?

Klasik AB testi tek değişkeni değiştirir ve nedeni net gösterir. Çok değişkenli kurgu ise birden fazla öğeyi aynı anda sınar, bunun karşılığında çok daha fazla trafik ister. Dolayısıyla seçim, elinizdeki trafikle doğrudan bağlantılıdır.

Üçüncü bir yol da var: tek seferde sayfanın tamamını yeni bir kurguyla karşılaştırmak. Buna genelde yeniden tasarım testi deriz. Nedeni göstermez, ancak büyük farkları hızlı yakalar. Yeni bir şablona geçerken bu yaklaşım işe yarar; dönüşüm odaklı web tasarım prensipleriyle birlikte kurgulandığında daha tutarlı sonuç verir.

Seçimi kolaylaştıran basit bir ölçüt var: haftalık dönüşüm sayınız iki haneli değilse çok değişkenli kurguya girmeyin. Ayrıca varyant sayısı arttıkça her varyantın payına düşen trafik azalır, dolayısıyla test süresi hızla uzar.

Kurgu seçimini ekip içinde tartışırken şu soruyu sorun: "Kazanırsak neyi öğreneceğiz?" Cevap "bilmiyoruz" ise test tasarımını sadeleştirin.

Özellik 6: Birincil metriği nasıl seçersiniz?

Birincil metrik tek olur. İki metriği birlikte birincil ilan ederseniz, hangisi oynarsa onu kazanç saymaya başlarsınız. Ayrıca metrik, test ettiğiniz değişkene yakın olmalıdır. Sepet butonunu test ediyorsanız birincil metrik sepete ekleme olur; ciro ise ikincil gözlem kalır.

İkincil metrikler yine de şarttır. Bir varyant sepete eklemeyi artırıp ödeme adımında kaybediyorsa, bunu ancak ikincil metriklerle görürsünüz. Huni mantığını dönüşüm hunisi yazımızda anlattık.

Metriği seçtikten sonra tanımını yazılı hale getirin. Örneğin sepete ekleme olayının tekrarlanan tıklamalarda ikinci kez sayılıp sayılmayacağı, sonucu doğrudan etkiler. Tanım yazılı değilse iki kişi aynı raporu farklı okur.

Metrik seçerken gelir hesabını da unutmayın. Oran artarken ortalama sepet düşebilir. Bu yüzden ciro etkisini ayrı bir sütunda izleriz ve kararı iki sütuna birlikte bakarak veririz.

Özellik 7: AB testi arama motoru görünürlüğünü bozar mı?

Google, site testlerini doğrudan ele alan bir belge yayımlıyor ve küçük değişikliklerin arama sonuçlarına etkisinin genelde çok sınırlı olduğunu söylüyor. Aynı belgede önemli iki kural var: tarayıcıya insanlardan farklı adres göstermeyin ve çok adresli testlerde alternatif adreslerde kanonik etiketi kullanın.

Yönlendirme yapacaksanız kalıcı değil geçici yönlendirme tercih edilir; böylece özgün adres dizinde kalır. Google ayrıca testi gereğinden uzun sürdürmenin aldatma girişimi gibi değerlendirilebileceğini belirtiyor. Ayrıntıyı Google Search Central site testleri belgesinden okuyabilirsiniz.

Tarayıcıların çerez davranışı da hesaba katılır. Çerez tabanlı bir test kurarsanız, arama motoru tarayıcısı çoğu zaman yalnız varsayılan sürümü görür. Bu durum testi bozmaz, ancak dizindeki sürümün hangisi olduğunu bilmeniz işinizi kolaylaştırır.

Arama tarafında içerik denemesi yapacaksanız yöntem biraz farklıdır; kullanıcı değil sayfa grupları bölünür. Bu ayrımı SEO AB testi yazımızda adım adım gösterdik.

Özellik 8: Kazanan varyantı nasıl yayına alırsınız?

Test aracının üzerinde çalışan varyant, kalıcı çözüm değildir. Kazanan kurguyu asıl şablona taşırsınız, test kodunu kaldırırsınız ve sonrasında sayfa hızını yeniden ölçersiniz. Test katmanı uzun süre açık kalırsa yükleme süresine ek yük biner.

Yayına alma sırasında şu kontrolleri yaparız.

  • Varyant mobil ve masaüstünde aynı görünüyor mu.
  • Ölçüm olayları yeni şablonda tetikleniyor mu.
  • Test betikleri tamamen kaldırıldı mı.
  • Erişilebilirlik kontrolleri hâlâ geçiyor mu.

Bu aşamada çoğu ekip tıkanır, çünkü iş artık pazarlama değil üretim işidir. Tasarım ve geliştirme tarafını birlikte yürütmek istiyorsanız web tasarım tarafındaki ekibimiz, kazanan varyantı şablona taşıma ve ölçümü bozmadan yayına alma kısmını devralır.

AB testi hesaplama aracıyla sonucu nasıl kontrol edersiniz?

Hesabı elle yapmak zorunda değilsiniz. a/b testi anlamlılık hesaplayıcı sayfasını açın, iki varyantın kullanıcı sayısını ve dönüşüm sayısını girin, sonucu güven aralığıyla birlikte okuyun. Girdileri test bitmeden değil, durdurma kuralınız sağlandıktan sonra girin.

Yan metrikleri de aynı mantıkla kontrol edebilirsiniz. Reklam tarafında varyantların tıklama performansını karşılaştırmak için tıklama oranı hesaplama sayfası iş görür. Sitede oran hesabı için dönüşüm oranı hesaplama sayfasını kullanırız.

Hesaplayıcıya girdi verirken tanımları sabit tutun. İki varyantın kullanıcı sayısını aynı kaynaktan, aynı tarih aralığından ve aynı filtreyle alırsınız. Farklı panellerden alınan sayılar birkaç puan oynar; o oynama da sonucu ters çevirebilir.

Araç çıktısını rapora yapıştırmak yetmez. Sonucun yanına hipotezi, durdurma kuralını ve kararı yazın; böylece rapor altı ay sonra da okunabilir kalır.

Hangi test türü hangi duruma uygun?

Aşağıdaki tablo, dört yaygın kurguyu trafik ihtiyacı ve öğrenme değeri açısından karşılaştırıyor. Tabloyu test planı toplantısında açıp birlikte işaretlemenizi öneririz.

KurguNe zaman uygun?Trafik ihtiyacıÖğrenme değeri
Klasik iki varyantTek bir öğeyi netleştirmek istediğinizde.OrtaYüksek, neden belli olur.
Çok değişkenliÖğeler arası etkileşimi aradığınızda.Çok yüksekOrta, yorum zorlaşır.
Yeniden tasarımŞablon değişimi kararı verirken.OrtaDüşük, neden belirsiz kalır.
Reklam kreatif testiMesaj ve görsel seçerken.Reklam bütçesine bağlıYüksek, hızlı döner.

Kurgu seçerken takvimi de düşünün. Yeniden tasarım testi tek seferde çok fark üretir, ancak hazırlık süresi uzundur. Klasik iki varyant ise bir günde kurulur; dolayısıyla yoğun dönemlerde daha pratik kalır. Reklam kreatif testi ise bütçe açık olduğu sürece sürekli dönebilir.

Tabloya bakarken bütçeyi de hesaba katın. Reklam tarafındaki testler site testlerinden hızlı sonuç verir, ancak her gösterim para harcar.

Düşük trafikte AB testi yerine ne yaparsınız?

Trafik azsa test süresi uzar ve karar gecikir. Bu durumda üç yol işimize yarıyor. İlk olarak, ölçtüğünüz olayı dönüşümün bir adım öncesine çekersiniz. Ardından, tek sayfa yerine şablon düzeyinde değişiklik yapar ve etkiyi tüm sayfa grubunda izlersiniz.

Üçüncü yol niteliksel veridir. Beş kullanıcıyla yapılan görev testi, binlerce oturumun gizlediği bir anlama sorununu dakikalar içinde gösterir. Kısacası sayı yetmediğinde gözlem devreye girer.

Dördüncü bir seçenek de var: testi tek sayfa yerine kampanya düzeyinde kurmak. Reklam tarafında bütçeyi iki kreatife bölerseniz, karar süresi site testinden kısa olur. Bu yüzden düşük trafikli sitelerde önce reklam mesajını netleştirmeyi öneriyoruz.

Arayüzdeki belirgin engelleri temizlemek de önceliklidir. arayüz tasarımındaki UX hataları listesindeki maddeler zaten biliniyorsa, onları test etmek yerine düzeltin.

AB testinde en sık yapılan hatalar nelerdir?

Sahada tekrar tekrar aynı hatalarla karşılaşıyoruz. Aşağıdaki liste, son yıllarda incelediğimiz test raporlarından çıkan ortak sorunları topluyor.

  • Testi erken durdurmak ve ilk sapmayı kazanç saymak.
  • Aynı dönemde aynı sayfada iki test yürütmek.
  • Mobil ile masaüstü sonuçlarını tek rapora karıştırmak.
  • Sepet butonu gibi küçük öğeleri düşük trafikte test etmek.
  • Kaybeden testi rapora yazmamak.

Listeye bir madde daha eklemek isteriz: testi yalnız bir metrikle değerlendirip iş etkisini atlamak. Oran artarken ortalama sepet düşüyorsa kazanç görünürde kalır. Bu yüzden raporda her zaman gelir sütununu da tutarız.

Son madde en pahalısı. Kaybeden testler, kazananlar kadar bilgi taşır; kayıt dışı kaldıklarında aynı fikir bir yıl sonra yeniden gündeme gelir.

Reklam tarafında kreatif testi nasıl kurgulanır?

Reklam platformlarında test mantığı benzer, uygulama farklıdır. Meta, kendi yardım merkezinde reklamlar için AB testlerini anlatan bir belge yayımlıyor; kurulum adımlarını oradan doğrulamanızı öneririz, çünkü panel başlıkları değişebilir. Belgeye Meta İşletme Yardım Merkezi AB testleri sayfasından ulaşabilirsiniz.

Kreatif testlerinde iki kurala bağlı kalırız. Bir, aynı anda tek bir öğeyi değiştirirsiniz: görsel, açılış cümlesi ya da çağrı. İki, karşılaştırmayı aynı hedef kitlede yaparsınız. Yöntemi Meta reklamlarında kreatif test yazımızda uygulamalı anlattık.

Reklam testinin sonucunu siteye taşırken dikkatli olun. Reklamda kazanan mesaj, hedef sayfada aynı sözü vermiyorsa kazanç kaybolur.

Test sonuçları hedef sayfayla nasıl uyumlanır?

Reklam ile hedef sayfa arasındaki söz uyumu, çoğu testin gizli değişkenidir. Kullanıcı reklamda "ücretsiz kargo" görüp sayfada başka bir vaat okuduğunda, hangi butonu test ettiğiniz önemsiz hale gelir.

Bu yüzden test planını reklam metniyle birlikte yaparız. Sayfanın ilk ekranındaki başlık, reklamın vaadini tekrar etmeli; kanıt öğeleri hemen altında durmalı. Kurumsal tarafta bu düzeni B2B landing page yazımızda örnekledik.

Söz uyumunu kanıt tarafında da arayın. Reklamda bir sektör vurgusu yapıyorsanız, sayfadaki referanslar da aynı sektörden olmalı. Kullanıcı kendi işine benzemeyen örnekler gördüğünde, vaadi inandırıcı bulmaz ve testin sonucu kreatiften değil kanıttan etkilenir.

Uyum kontrolü için basit bir yöntem var: reklamı ve sayfayı yan yana açın, başlıkları yüksek sesle okuyun. Cümleler birbirini tutmuyorsa testten önce metni düzeltin.

Test kültürünü ekipte nasıl kurarsınız?

Tek bir test, kültür kurmaz. Kültür, kayıt tutma alışkanlığından doğar. Biz üç sütunlu basit bir tablo tutarız: hipotez, sonuç, karar. Tablo büyüdükçe ekip aynı fikri ikinci kez test etmez.

Toplantı ritmi de önemli. Ayda bir test incelemesi yapmak, raporu kimsenin okumadığı bir dosyadan çıkarır. Ayrıca kaybeden testleri açıkça konuşmak, ekibin risk alma iştahını korur.

Rol dağılımı da kültürün parçası. Hipotezi pazarlama yazar, kurulumu geliştirme yapar, kararı ikisi birlikte verir. Sahiplik belirsiz kaldığında test kuyruğu uzar ve fikirler eskir.

Ölçüm altyapısı olmadan kültür yürümez. Oran optimizasyonunun süreç tarafını CRO süreci yazımızda anlattık; test takvimi orada anlatılan döngünün bir parçasıdır.

Hangi öğeleri test etmek genelde değer üretir?

Her öğe eşit değerde değil. Deneyimimize göre karar anına yakın öğeler daha büyük fark üretir. Aşağıdaki sıralama, test fikri listesi yaparken başlangıç noktası olarak işinize yarar.

  1. Sayfanın ilk ekranındaki vaat ve başlık.
  2. Fiyat, kargo ve teslim bilgisinin yerleşimi.
  3. Form alan sayısı ve alan sırası.
  4. Kanıt öğeleri, yani yorum ve referans yerleşimi.
  5. Çağrı metninin kendisi.

Çağrı metni listenin sonunda duruyor, çünkü tek başına nadiren büyük fark yaratır. Buna karşılık doğru yazıldığında diğer değişikliklerin etkisini taşır; örnekleri CTA buton örnekleri yazımızda bulabilirsiniz.

Test öncesi kontrol listesi: hangi 8 soruyu yanıtlarsınız?

Testi başlatmadan önce bu sekiz soruyu yazılı yanıtlamanızı öneririz. Yanıtlar bir paragrafı geçmez, yine de sonradan çıkan tartışmaların çoğunu baştan keser.

  1. Hipotez tek cümleyle yazıldı mı.
  2. Birincil metrik tek mi.
  3. Hedef örneklem sayısı hesaplandı mı.
  4. Durdurma kuralı yazıldı mı.
  5. Aynı sayfada başka test var mı.
  6. Mobil ve masaüstü ayrı okunacak mı.
  7. Ölçüm olayları doğrulandı mı.
  8. Kazanan varyantı kim yayına alacak.

Listeyi doldurmak on dakikanızı alır. Yine de bu on dakika, testin yarıda kesilmesini ya da sonucun tartışmaya açılmasını engeller. Kontrol listesini ekip içinde ortak bir dosyada tutmanızı öneririz; böylece her yeni test aynı standartla başlar.

Son soru en çok atlananı. Yayına alma sahibi belirlenmediğinde kazanan varyant haftalarca test aracında bekler.

AB testi için profesyonel destek ne zaman gerekir?

Kurulumu kendiniz yapabilirsiniz; araçların çoğu bunu kolaylaştırıyor. Zorluk başka yerde çıkıyor: ölçümün doğru kurulması, varyantın hızı bozmaması ve kazanan kurgunun şablona temiz taşınması. Bu üç başlık teknik iş gerektirir.

Biz genelde şu noktada devreye giriyoruz. Ekip test fikirlerini üretiyor, biz ölçüm altyapısını, varyant kurulumunu ve yayına alma sürecini yürütüyoruz. Sonuç garantisi vermiyoruz; sonuç testin kendisinden çıkar. Yine de sürecin tekrarlanabilir olmasını sağlıyoruz.

Sitenizin şablonu her değişiklikte kırılıyorsa, sorun test değil altyapıdır. Böyle bir durumda web tasarım hizmeti kapsamında şablonu test edilebilir hale getirmeyi öneriyoruz; sonrasında her test birkaç gün değil birkaç saat sürer.

AB testi için hangi ölçüm altyapısı gerekir?

Test aracı tek başına yetmez; arkasında doğru kurulmuş bir ölçüm katmanı olmalı. Çünkü varyantlar arasındaki farkı gördüğünüz yer analitik raporudur. Olay adları tutarsızsa, iki grubun dönüşümünü aynı tanımla karşılaştırmanız mümkün olmaz.

Minimum kurulum üç parçadan oluşur. Önce etiket yöneticisi üzerinden tek bir ölçüm hattı kurarsınız. Ardından dönüşüm olaylarını isimlendirir ve her olayın hangi kullanıcı eylemine karşılık geldiğini yazılı tanımlarsınız. Son adımda varyant bilgisini rapora taşıyacak bir boyut eklersiniz.

Kurulumu bitirince doğrulama yapmanız şart. Test ortamında iki varyanta da girip olayların tetiklendiğini kendi gözünüzle görün. Ayrıca aynı kullanıcının iki varyantı birlikte görmediğinden emin olun; yoksa veri karışır ve sonuç okunamaz hale gelir.

Mobil ve masaüstü sonuçlarını neden ayrı okursunuz?

İki cihaz grubu aynı sayfayı farklı yaşıyor. Mobilde ekran küçük, dikkat dağınık, ödeme adımı daha zahmetli. Dolayısıyla bir varyant masaüstünde kazanırken mobilde kaybedebilir; tek rapor bu çelişkiyi gizler.

Pratikte şöyle çalışıyoruz. Testi tek kurgu olarak yürütürüz, raporu ise cihaz kırılımıyla okuruz. Kırılımda ters yön görürsek kararı cihaz bazında veririz ve mobil için ayrı varyant yayınlarız.

Bir uyarı daha: cihaz kırılımı örneklemi böler. Her kırılım için ayrı anlamlılık arıyorsanız, gereken kullanıcı sayısı artar. Bu yüzden cihaz bazlı karar vermeyi baştan planlarsanız, hedef örneklemi de buna göre hesaplarsınız.

AB testi sonucunu raporda nasıl sunarsınız?

İyi bir test raporu tek sayfadır ve dört soruya cevap verir: neyi denedik, ne gördük, neye karar verdik, sırada ne var. Fazlası okunmaz; eksiği ise kararı havada bırakır.

  • Hipotez cümlesi, değişiklik ve gerekçeyle birlikte.
  • Birincil metrik, iki varyant için yan yana.
  • Güven aralığı ve örneklem sayısı.
  • İkincil metriklerde dikkat çeken sapmalar.
  • Karar ve uygulama sahibi.

Grafik eklerken sade kalın. Zaman serisi grafiği günlük dalgalanmayı gösterir, ancak karar bu dalgalanmadan çıkmaz. Kararı özet satırına yazın, grafiği destek olarak kullanın.

Raporu arşivlerken adlandırmaya özen gösterin. Sayfa adı, test tarihi aralığı ve birincil metrik dosya adında geçsin; böylece ekip aradığı testi saniyeler içinde bulur.

Sık karıştırılan kavramlar: anlamlılık mı, etki büyüklüğü mü?

Anlamlılık ile etki büyüklüğü farklı şeylerdir. Çok büyük örneklemde çok küçük bir fark bile anlamlı çıkabilir. Buna karşılık o fark iş sonucunu değiştirmiyorsa, uygulamaya değmez.

Kararı verirken iki soruyu birlikte sorun: fark gerçek mi ve fark işe yarar mı? İkinci sorunun cevabı ciroya, marja ve uygulama maliyetine bağlıdır. Örnek hesap yaparken ortalama sepet tutarını da hesaba katın.

Uygulama maliyetini de karara katarsınız. Küçük bir metin değişikliği aynı gün yayına girer; buna karşılık ödeme akışını değiştiren bir kazanan, haftalarca geliştirme gerektirebilir. Bu yüzden kazananları etki ve maliyet sırasına göre sıraya dizeriz.

Özetle rapor tek bir yüzdeyle bitmez. Anlamlılık, güven aralığı ve iş etkisi aynı sayfada yan yana durur.

Temel rehber: Dijital Pazarlama Nedir? Türleri, örnekleri ve nasıl yapıldığı, beynin içinden geçen etkileşimli bir filmle tek sayfada.

Sıkça Sorulan Sorular

AB testi en az kaç gün sürmeli?
Süreyi gün sayısı değil, hedef örneklem ve tam hafta döngüsü belirler. Hesapladığınız kullanıcı sayısına ulaşmadan testi kapatmayın. Ayrıca hafta içi ve hafta sonu davranışı ayrıştığı için en az bir tam haftayı tamamlarsınız. Kampanya dönemlerinde başlatılan testler normal davranışı yansıtmaz, dolayısıyla takvimi buna göre kurarsınız.
Düşük trafikli sitede AB testi anlamlı olur mu?
Küçük farkları ölçmek için yeterli kullanıcı yoksa test aylarca sürer. Bu durumda ölçümü dönüşümün bir adım öncesine çekersiniz, örneğin sepete ekleme ya da form başlangıcı. Değişikliği tek sayfa yerine şablon düzeyinde yaparsanız örneklem büyür. Ek olarak az sayıda kullanıcıyla görev testi yapmak, sayısal testin göremediği anlama sorunlarını gösterir.
AB testi Google sıralamasına zarar verir mi?
Google, site testlerini anlatan belgesinde küçük değişikliklerin arama sonucuna etkisinin genelde çok sınırlı olduğunu söylüyor. Önemli olan kurallara uymaktır: tarayıcıya insanlardan farklı adres göstermeyin, çok adresli testlerde alternatif adreslerde kanonik etiket kullanın, kalıcı yerine geçici yönlendirme seçin. Testi gereğinden uzun sürdürmekten de kaçının.
Aynı sayfada iki test birlikte yürütülebilir mi?
Teknik olarak mümkün, yorum açısından sorunlu. İki değişiklik aynı kullanıcıya denk geldiğinde hangi etkinin nereden geldiğini ayırmanız güçleşir. Bu nedenle aynı sayfada aynı dönemde tek test yürütmeyi tercih ederiz. Birden fazla öğeyi birlikte sınamak istiyorsanız, bunu bilinçli olarak çok değişkenli kurgu şeklinde planlarsınız.
Kaybeden testi rapora yazmanın faydası ne?
Kaybeden test, hipotezin yanlış olduğunu gösterir ve bu da bilgidir. Kayıt tutmadığınızda aynı fikir bir yıl sonra yeniden gündeme gelir ve bütçe ikinci kez harcanır. Üstelik kaybeden testler ekibin kullanıcıyı nerede yanlış okuduğunu gösterir. Biz hipotez, sonuç ve karar sütunlarından oluşan basit bir tablo tutarız.
Reklam testinin sonucu site testine uygulanır mı?
Doğrudan uygulanmaz, çünkü bağlam farklıdır. Reklamda kazanan mesaj, hedef sayfada aynı sözü vermiyorsa kazanç kaybolur. Bu yüzden reklam testinden çıkan mesajı sayfanın ilk ekranında ayrıca sınarsınız. Uyumu kontrol etmek için reklamı ve sayfayı yan yana açıp başlıkları karşılaştırmanız çoğu zaman yeterli olur.
  • ab testi
  • dönüşüm optimizasyonu
  • cro
  • istatistiksel anlamlılık
  • test kurgusu
  • dijital pazarlama
Paylaş:
Talha Aslan

Google Partner dijital pazarlama uzmanı. 2012’den beri SEO, Google Ads, web tasarım ve e-ticaret projelerinde sahada; bu blogda gördüğünüz her yazı o deneyimden çıkar.

Sıradaki proje

Projeniz için teklif alın.

Talebiniz doğrudan Talha Aslan ve ekibine ulaşır: stratejiyi Talha kurar, uygulamayı deneyimli ekip yürütür. Aynı gün dönüş yapar, kapsamı, takvimi ve tutarı yazılı teklifle 1 iş günü içinde göndeririz.