İçeriğe atla
Blog'a Dön
Veri Analizi

A/B Testi Nedir, Nasıl Yapılır? Hipotez, Süre, Okuma

Next GEO Agency

Yapay zeka destekli taslak; yayından önce baştan sona okunur ve iddialar birincil kaynaklara karşı kontrol edilir. İçerik üretim sürecimiz

Koyu ekranda sayfa yükleme süresi ile hemen çıkma oranını karşılaştıran mavi çubuk grafikler

A/B testi, aynı dönemde gelen ziyaretçileri rastgele iki gruba bölüp birine mevcut sürümü (A), diğerine tek bir noktası değiştirilmiş sürümü (B) göstererek hangisinin daha iyi sonuç verdiğini ölçme yöntemidir. Yöntemin gücü zamanlamadan gelir: iki grup aynı günlerde, aynı kampanyalar ve aynı mevsim koşulları altında siteyi gördüğü için aradaki farkın değişiklikten kaynaklandığı daha güvenle söylenebilir. Nasıl yapılır sorusunun kısa cevabı da buradan çıkar: önce yazılı bir hipotez, sonra tek değişken, önceden belirlenmiş süre ve ölçüt, en sonda da sonucu talebin kalitesiyle birlikte okumak.

A/B testi nedir? Kontrol, varyant ve rastgele bölme

Bir A/B testinin dört parçası vardır:

  • Kontrol (A): sayfanın ya da reklamın şu anki hâli.
  • Varyant (B): yalnızca test edilen öğesi değiştirilmiş sürüm.
  • Bölme: ziyaretçinin hangi sürümü göreceğine rastgele karar veren mekanizma. Aynı kişinin test boyunca hep aynı sürümü görmesi gerekir.
  • Ölçüt: iki sürümü karşılaştırmak için önceden seçilmiş sayı; form gönderimi, satın alma ya da arama tıklaması gibi.

Rastgele bölme, yöntemi önce-sonra karşılaştırmasından ayıran şeydir. "Geçen ay eski sayfa, bu ay yeni sayfa" karşılaştırmasında iki ay arasında değişen her şey (kampanya bütçesi, rakip hareketi, tatil, hava durumu) sonuca karışır. A/B testinde ise bu etkenler iki gruba aynı anda dokunur.

Meta'nın A/B testleri hakkında yardım sayfası aynı ilkeyi reklam tarafında anlatıyor: reklam görseli, metni, hedef kitle ya da reklam alanı gibi bir değişkeni değiştirerek iki sürüm karşılaştırılır, her sürüm hedef kitlenin bir segmentine gösterilir ve kimsenin ikisini birden görmemesi sağlanır. Aynı sayfa, reklam setlerini elle açıp kapatarak yapılan resmi olmayan testleri önermiyor; bunun güvenilir olmayan sonuçlara ve çakışan hedef kitlelere yol açabileceğini yazıyor.

A/B, A/B/n, çok değişkenli test ve ayrı URL testi

"A/B testi" adı, uygulamada birkaç farklı kurguyu kapsayacak şekilde kullanılır. Hangisinin seçileceği, trafiğe ve test edilen değişikliğin büyüklüğüne bağlıdır.

KurguNe yapılırTrafik ihtiyacıUygun olduğu durum
A/BBir kontrol, bir varyantEn azTek bir değişikliğin etkisini görmek
A/B/nBir kontrol, iki ya da daha fazla varyantVaryant sayısıyla artarÜç farklı başlığı aynı anda denemek
Çok değişkenliBirkaç öğenin kombinasyonları birlikte denenirEn fazlaYüksek trafikli sayfada öğelerin birbirine etkisini görmek
Ayrı URL (split URL)Varyant ayrı bir adreste durur, ziyaretçi oraya yönlendirilirA/B ile aynıSayfa düzeni baştan değişiyorsa

Çok değişkenli test kâğıt üzerinde cazip görünür: başlık, görsel ve düğme metni aynı anda denenir ve en iyi kombinasyon bulunur. Ama her kombinasyon ayrı bir grup demektir; üç öğenin ikişer sürümü sekiz grup yaratır ve her gruba yetecek ziyaretçi toplamak, ayda birkaç bin ziyaretçi alan bir hizmet sitesinde aylar sürebilir. Küçük ve orta ölçekli sitelerde iki sürümlü test çoğu soruyu cevaplamaya yetebilir.

Ayrı URL testi, arama motoru açısından ikinci bir adres yaratır. Google'ın A/B testi ve arama belgesi bu durumda diğer adreslerde orijinal URL'yi gösteren rel="canonical" bağlantısını öneriyor ve burada noindex kullanmanın beklenmeyen olumsuz etkiler doğurabileceğini yazıyor. Yönlendirmeyle yapılan testte de kalıcı 301 yerine geçici 302 yönlendirmesi kullanılmasını istiyor. İki adresin aynı içeriği taşıması, Google'ın hangisini standart sayacağını seçtiği kopya içerik ve standart adres meselesinin geçici bir örneğidir; test bitince varyasyon adresi kaldırılır.

Hipotez nasıl yazılır: değişiklik, beklenen etki, izlenecek sayı

Testin en çok atlanan adımı hipotezdir. "Yeni başlığı deneyelim" bir hipotez değil, bir istektir. Hipotez üç parçalı bir cümledir: neyi değiştiriyoruz, ne olmasını bekliyoruz ve bunu hangi sayıyla göreceğiz.

Örnek: "Hizmet sayfasının başlığına süre bilgisini (aynı gün keşif) eklersek, mobilde hizmet sayfasından form başlatan ziyaretçi oranı artar; ölçüt form gönderim oranı, ikincil ölçüt form başlatma oranı."

Google Ads'in Denemeler sayfası belgesi de ilk adım olarak net bir varsayım belirlemeyi koyuyor: varsayım denemenin neden çalıştırıldığını açıklamalı ve işletme hedefine bağlanmalıdır; belgeye göre varsayım, denemenin başarılı olup olmadığını saptamaya yardım eder.

Hipotezin kaynağı tahmin değil gözlem olmalıdır. Kaybın yoğunlaştığı adımı gösteren bir dönüşüm hunisi raporu, ziyaretçi kaydı, form alanı bazında vazgeçme verisi ya da gelen taleplerde tekrar eden sorular hipotez için iyi başlangıç noktalarıdır. "Rakip sitede düğme yeşil" bir gözlem değildir; o sitenin ziyaretçisi, teklifi ve ölçümü sizinkiyle aynı değildir.

Hipotezi yazmanın bir yan faydası var: test bittiğinde sonucu yorumlamak kolaylaşır. Varyant kazandıysa hipotezin mantığı bir sonraki teste taşınabilir; kaybettiyse ya da fark çıkmadıysa, hangi varsayımın yanlış olduğu cümleden okunur.

Hangi sayı izlenir: birincil ve koruyucu ölçüt

Testin başında tek bir birincil ölçüt seçilir ve kazanan bu sayıyla belirlenir. Google Ads belgesi de testlerin başarısını ölçmek için testler başlamadan önce bir veya iki metrik seçilmesini istiyor; böylece testi sonlandırma zamanı geldiğinde odaklanılan metrik kazananı net gösteriyor.

Birincil ölçüt, işletme için gerçek sonuca en yakın sayı olmalıdır. Hizmet sitesinde düğme tıklaması değil form gönderimi; e-ticarette sepete ekleme değil satın alma. Tıklamayı ölçüt yapmak kolaydır, çünkü sayı çok çıkar ve test çabuk biter; ama daha çok tıklatan bir varyant daha az talep getirebilir.

Birincil ölçütün yanına bir ya da iki koruyucu ölçüt eklenir. Bunlar kazanmak için değil, bir şeyin bozulmadığını görmek için izlenir:

  • Talep kalitesi: gelen formların kaçının görüşmeye döndüğü.
  • Sipariş tutarı ya da iade: e-ticarette dönüşüm artarken ortalama sepetin düşüp düşmediği.
  • Hata ve hız: varyantın daha yavaş açılıp açılmadığı, form hatası alanların artıp artmadığı.

Oranın kendisinin nasıl hesaplandığı da önceden yazılmalıdır. Payın neyi saydığı ve paydanın oturum mu kullanıcı mı olduğu iki sürümde aynı olmazsa karşılaştırma anlamsızlaşır. Testin sonunda "hangi oranı kastetmiştik" tartışması çıkmasın diye dönüşüm oranı formülü test başlamadan tek satır olarak yazılır.

Testten önce kontrol: A/A testi ve bölme dengesi

Bir test aracının doğru çalıştığından emin olmanın yolu, iki grubu birbirinin aynısı olan sürümlerle karşılaştırmaktır. Buna A/A testi denir: iki grup aynı sayfayı görür ve beklenen sonuç, iki grubun oranlarının birbirine yakın çıkmasıdır. Belirgin bir fark çıkıyorsa sorun ziyaretçide değil kurulumdadır; ölçüm bir gruba çift sayılıyor, bölme rastgele değil ya da bir sürüm bazı tarayıcılarda açılmıyor olabilir.

A/A testi her seferinde gerekmez; yeni bir araç kurulduğunda ya da kurulum değiştiğinde bir kez yapılması anlamlıdır.

Test sürerken bakılacak ikinci kontrol bölme dengesidir. Trafik yarı yarıya bölünecek şekilde ayarlandıysa iki gruptaki ziyaretçi sayısının da birbirine yakın olması beklenir. Gruplardan biri belirgin biçimde az ziyaretçi alıyorsa (istatistikte bu duruma örneklem oranı uyumsuzluğu denir) bir sürüm bazı ziyaretçilerde yüklenmiyor, yönlendirme kayboluyor ya da bir bot trafiği tek gruba düşüyor olabilir. Bu durumda sonuç okunmaz; önce sebep bulunur.

Üçüncü kontrol ölçümün kendisidir. Her iki sürümde de birincil ölçütün olayı test gönderimiyle denenir: B sürümünde form gönderildiğinde etkinlik geliyor mu, teşekkür ekranı açılıyor mu, talep gelen kutusuna düşüyor mu? Varyant tasarlanırken form kodu yeniden yazılmışsa ölçüm etiketi de yeniden bağlanmamış olabilir.

Süre ve durdurma kuralı: testi ne zaman bitirmeli?

Testin süresi başlamadan önce belirlenir ve iki girdiye dayanır: gereken ziyaretçi sayısı ve sayfanın haftalık trafiği. Gereken sayının kabaca nasıl hesaplanacağı ve küçük farkların neden çok ziyaretçi istediği, landing page dönüşüm oranı için kurulmuş hesap örnekleriyle aynı mantığa dayanır ve burada tekrarlanmıyor. Bu bölümün konusu, hesaplanan süreye nasıl sadık kalınacağıdır.

Üç kural testin erken bitirilmesini önler:

  1. Süre takvime yazılır. "Yeterli fark görünce durduracağız" bir durdurma kuralı değildir. Test başında "üç tam hafta" ya da "her grupta şu kadar ziyaretçi" gibi bir sınır yazılır ve sonuç o sınırdan önce karar için kullanılmaz.
  2. Tam haftalar kullanılır. Hafta içi ve hafta sonu ziyaretçisi farklı davranabilir. Testin her günü eşit sayıda kapsaması için süre tam hafta olarak seçilir.
  3. Her gün sonuca bakılıp karar verilmez. Sayılar küçükken bir sürüm rastlantıyla önde görünebilir ve ziyaretçi arttıkça fark kapanabilir. Her gün sonuca bakıp öndeki sürümü görünce testi durdurmak, rastlantıyı kazanan ilan etme ihtimalini artırır.

Dördüncü bir etken de yenilik etkisidir. Sık gelen ziyaretçiler (müşteri paneli, tekrar alışveriş yapılan mağaza) değişen bir öğeye ilk günlerde sırf yeni olduğu için daha çok tıklayabilir. Bu etki zamanla söner. Tekrar ziyaretin yüksek olduğu sitelerde ilk günlerin sonucuna ayrıca dikkat etmek, yeni ve geri dönen ziyaretçiyi ayrı okumak bu yanılgıyı azaltır.

Test sırasında kampanya bütçesi, teklif stratejisi ya da reklam metni değiştirilirse durum tarihiyle not edilir. Google Ads belgesi de senkronizasyon açık değilse ana kampanyalarda deneme sırasında değişiklik yapmaktan kaçınılmasını istiyor; aksi hâlde hangi değişikliğin sonucu etkilediğini anlamak zorlaşıyor.

Reklam platformlarında test: Google Ads Denemeler ve Meta A/B testi

Reklam tarafındaki testler, platformun kendi araçlarıyla yapılır ve bölmeyi platform yönetir.

Google Ads. Hesaptaki Denemeler sayfası, denemelerin tek bir yerden oluşturulup yönetilmesini sağlıyor. Belge, aynı anda tek bir değişkenin test edilmesini istiyor ve gerekçeyi şöyle açıklıyor: duyarlı arama ağı reklamında iki farklı başlık karşılaştırılırken aynı anda iki farklı teklif stratejisi de kullanılırsa kazanana katkıda bulunanın başlık mı teklif stratejisi mi olduğu bilinemez. Sonuçlar analiz edildikten sonra orijinal kampanya güncellenebilir ya da deneme yeni bir kampanyaya dönüştürülebilir.

Meta. A/B testi Reklam Yöneticisi'nde ya da Deneyler aracında kurulabiliyor. Yardım sayfasına göre test, mevcut bir kampanya, reklam seti ya da reklam çoğaltılıp bir değişkeni değiştirilerek veya iki mevcut kampanya ya da reklam seti karşılaştırılarak oluşturuluyor; adil bir karşılaştırma için iki sürümde aynı bütçenin kullanılması öneriliyor. Test, hesap ve kampanya düzeyindeki kurulum yerinde olduğunda anlam taşır. İşletme portföyü, piksel ve kampanya hedefi gibi ilk adımları hesaptan yayına sıralayan Meta reklam kurulumu tamamlanmadan açılan bir test, ölçemediği bir farkı arar.

İki platformda da test edilen şey reklamın kendisidir: metin, görsel, hedef kitle, teklif stratejisi. Reklamın gittiği açılış sayfasını test etmek için ise ya iki farklı hedef URL'li iki reklam sürümü kurulur ya da sayfa düzeyinde bir test aracı kullanılır. İkinci yol, reklamdan bağımsız olarak sayfaya gelen tüm trafiği kapsar.

Web sitesinde A/B testi araçları: Google Optimize'dan sonra

Google'ın ücretsiz test aracı Google Optimize artık yok. Google'ın Optimize kullanımdan kaldırma duyurusu, Google Optimize ve Optimize 360'ın 30 Eylül 2023 itibarıyla kullanılamadığını ve o tarihte etkin olan tüm deneme ve kişiselleştirmelerin sona erdiğini yazıyor. Aynı sayfa, Google'ın Google Analytics 4'te üçüncü taraf A/B testi entegrasyonlarına yatırım yaptığını, alfabetik sırayla AB Tasty, Optimizely ve VWO ile entegrasyonlar üzerinde iş birliği yaptığını ve herkesin kendi test aracını Analytics'e bağlayabilmesi için API'leri herkese açtığını söylüyor.

Bugün bir web sitesinde sayfa testi kurmanın üç yolu var:

  • Test aracı: ziyaretçiyi bölen, varyantı gösteren ve sonucu raporlayan ayrı bir hizmet. Kurulumu kolaydır; ama sayfaya bir betik ekler ve varyant tarayıcıda yüklendiği için ilk anda sayfanın eski hâlinin görünüp sonra değişmesi (titreme) yaşanabilir.
  • Sunucu tarafı bölme: ziyaretçinin hangi sürümü göreceğine site kodu ya da barındırma katmanı karar verir. Titreme yoktur, ama geliştirici emeği ister.
  • Sayfa oluşturucu ya da e-ticaret altyapısının kendi test özelliği: varsa en az kurulum gerektiren yoldur; raporun neyi saydığı ayrıca kontrol edilir.

Hangi yol seçilirse seçilsin, sonucun GA4'te de okunabilmesi için her ziyaretçinin hangi sürümü gördüğü bir parametre ya da kullanıcı özelliği olarak Analytics'e iletilmelidir. Aksi hâlde test aracının raporu ile Analytics'in sayısı arasında bir fark çıktığında hangisinin doğru olduğu bulunamaz.

Sonucu okumak: kazanan, kaybeden ve belirsiz sonuç

Süre dolduğunda üç sonuçtan biri çıkar ve üçü de bir bilgidir.

Varyant kazandı. Birincil ölçütte fark var ve koruyucu ölçütler bozulmadı. Varyant kalıcı yapılır, test betiği ve varsa varyasyon adresi kaldırılır. Kazanan sürümün getirdiği taleplerin görüşmeye ve satışa dönme oranı birkaç hafta daha izlenir; formdan gelen talebi aranma, görüşme ve satış adımlarıyla tutan bir lead takibi tablosu olmadan bu kontrol yapılamaz.

Varyant kaybetti. Kontrol sürüm kalır. Bu sonuç hipotezin yanlış olduğunu söyler, ki en az kazanmak kadar değerlidir: aynı fikrin başka bir sayfaya yayılmasını önler.

Belirgin fark yok. Bu sonuç "test başarısız" anlamına gelmez. Ya değişiklik ziyaretçi için önemli değildir ya da etkisi bu trafikle ayırt edilemeyecek kadar küçüktür. Bu durumda tercih işletme kararına kalır; daha sade, bakımı kolay ya da marka diline uygun olan sürüm seçilebilir.

Sonucu okurken en riskli alışkanlık segment avıdır: genel sonuç belirsiz çıktığında sonuç mobil, masaüstü, yeni ziyaretçi, reklam trafiği, şehir gibi kırılımlara ayrılır ve kırılımlardan biri "kazanan" çıkana kadar aranır. Yeterince kırılıma bakıldığında birinde rastlantıyla fark görülür. Kırılımlar bakılacaksa hangileri olacağı test başında yazılır; sonradan bulunan bir segment farkı kesin sonuç değil, yeni bir testin hipotezi olarak kaydedilir.

E-ticarette sonucu bir de taban çizgisine göre okumak gerekir. Varyantın oranı kontrolden yüksek çıksa bile mağazanın normal haftalardaki aralığının içinde kalıyorsa, farkın kalıcı olup olmadığını görmek için kendi taban çizginizi kurmuş olmak test sonrası ilk haftaların yorumunu kolaylaştırır.

Trafik yetmiyorsa: sıralı değişiklik ve büyük fikirler

Ayda birkaç yüz ziyaretçi ve birkaç talep alan bir hizmet sitesinde A/B testi, küçük bir farkı ayırt etmek için aylarca sürebilir. Bu sitelerde iki yol daha gerçekçidir.

Büyük değişiklikleri test etmek. Düğme rengi yerine teklifin kendisi, birincil eylemin türü (formdan telefona), yarıya indirilmiş bir form ya da sayfanın baştan yazılmış bir sürümü. Büyük farkları ayırt etmek daha az ziyaretçi ister.

Sıralı, tarihli değişiklik. Değişiklikler tek tek uygulanır, her biri tarihiyle not edilir ve önce ile sonrası aynı uzunlukta iki dönem üzerinden karşılaştırılır. Bu yöntem dış etkenleri ayıklayamaz; sonucu kesin kanıt değil yön gösteren bir işaret olarak okumak gerekir. Aynı dönemde birden fazla değişiklik yapılmaz, çünkü o durumda hangisinin etkili olduğu okunamaz.

Bazı değişiklikler hiç test edilmeden yapılır. Kırık bir form, mobilde tıklanmayan bir telefon numarası, açılmayan bir WhatsApp bağlantısı ya da teşekkür ekranı göstermeyen bir gönderim hatadır; hatayı "test etmek", ziyaretçilerin yarısını bilerek bozuk sürüme göndermek demektir.

Test günlüğü: her deneme için yazılacaklar

Testlerin değeri tek tek sonuçlardan çok birikimden gelir. Google Ads belgesi de denemelerin kaydının tutulmasını, geçmiş testlerin kaydı tutulursa test edilecek öğelerin önceliğini belirlemenin kolaylaşacağını yazıyor. Bir test günlüğünün her satırı şu alanları taşır:

AlanÖrnek
Sayfa ya da kampanyaHizmet sayfası, mobil trafik
HipotezBaşlığa süre bilgisi eklenirse form gönderim oranı artar
DeğişiklikBaşlık: "Aynı gün keşif" ifadesi eklendi
Birincil ve koruyucu ölçütForm gönderim oranı; görüşmeye dönme oranı
Başlangıç ve bitiş tarihiÖnceden yazılmış süre
Bölme ve ziyaretçi sayısıA ve B gruplarındaki ziyaretçi
SonuçKazandı, kaybetti ya da belirgin fark yok
Karar ve sonraki hipotezVaryant kalıcı yapıldı; sıradaki test form alanı

Günlük, aynı fikrin iki kez test edilmesini önler, ekip ya da ajans değiştiğinde birikimin kaybolmamasını sağlar ve hangi tür değişikliklerin sitede işe yaradığını zamanla görünür kılar.

Bu döngünün uygulamasını dışarıdan almak isteyen işletme için dönüşüm oranı optimizasyonu hizmetinin "Değişikliklerin uygulanması ve test" kalemi, onaylanan değişiklikleri erişim verilen sitede uygular; trafik yeterliyse değişiklik A/B testi olarak açılır, yetmiyorsa tek tek ve tarihli uygulanıp her birinin önce ve sonrası ayrı okunur, hangi yolun seçildiği ve nedeni rapora yazılır.

Test bittiğinde sorulacak soru şudur: bu sonuç bir sonraki testin hipotezini değiştirdi mi? Değiştirmediyse test ya yanlış soruyu sınamıştır ya da sonucu karara bağlanmadan kapanmıştır.

Sıkça Sorulan Sorular

A/B testi nedir?

A/B testi, aynı dönemde gelen ziyaretçileri rastgele iki gruba bölüp birine mevcut sürümü, diğerine tek noktası değiştirilmiş sürümü göstererek hangisinin daha iyi sonuç verdiğini ölçen yöntemdir. İki grup siteyi aynı günlerde ve aynı koşullarda gördüğü için aradaki farkın değişiklikten geldiği önce-sonra karşılaştırmasından daha güvenle söylenebilir. Web sayfası, reklam metni, görsel ya da hedef kitle bu yöntemle karşılaştırılabilir.

A/B testi nasıl yapılır?

Önce gözleme dayanan bir hipotez yazılır: neyin değiştirileceği, ne beklendiği ve hangi sayıyla ölçüleceği. Sonra tek değişkenli bir varyant hazırlanır, birincil ve koruyucu ölçütler seçilir, ziyaretçiler rastgele ve her kişi hep aynı sürümü görecek şekilde bölünür. Süre başlamadan tam hafta olarak belirlenir, sonuç bu süre dolmadan karar için kullanılmaz. Bitişte sonuç talebin kalitesiyle birlikte okunur ve test günlüğüne yazılır.

A/B testi ne kadar sürmeli?

Süre, gereken ziyaretçi sayısına ve sayfanın haftalık trafiğine göre test başlamadan hesaplanır. Hafta içi ve hafta sonu davranışı farklı olabileceği için süre tam haftalar hâlinde seçilir. Her gün sonuca bakıp öndeki sürümü görünce testi durdurmak rastlantıyı kazanan ilan etme riskini artırır. Trafik küçük farkı ayırt etmeye yetmiyorsa daha büyük bir değişiklik test edilir ya da sıralı, tarihli değişiklik yöntemine geçilir.

A/A testi nedir, neden yapılır?

A/A testi, ziyaretçileri iki gruba bölüp iki gruba da aynı sürümü gösteren kontrol testidir. Amacı test aracının ve ölçümün doğru çalıştığını görmektir: iki grubun oranları birbirine yakın çıkmalıdır. Belirgin bir fark çıkıyorsa sorun ziyaretçide değil kurulumdadır; ölçüm bir grupta çift sayılıyor, bölme rastgele değil ya da sürüm bazı tarayıcılarda yüklenmiyor olabilir. Yeni bir araç kurulduğunda bir kez yapılması anlamlıdır.

Google Optimize kapandıktan sonra A/B testi nasıl yapılır?

Google Optimize ve Optimize 360, 30 Eylül 2023 itibarıyla kullanılamıyor. Google, GA4'te üçüncü taraf A/B testi araçlarıyla entegrasyon üzerinde çalıştığını ve API'leri herkese açtığını duyurdu. Web sitesinde test için ayrı bir test aracı, sunucu tarafı bölme ya da sayfa oluşturucunun kendi test özelliği kullanılabilir. Reklam testleri ise Google Ads'in Denemeler sayfasında ve Meta Reklam Yöneticisi'nin A/B testi özelliğinde yapılır.