Deneyimleri Dönüştürme Raporunu Doğru Bir Şekilde Okuma ve Yorumlama

Bir Convert kullanıcısıysanız, raporlarınızın değerli verilerle dolu olduğunu bilirsiniz. Peki tüm bu sayılar ve grafikler neyi temsil ediyor? Ve onlardan hangi sonuçları çıkarabileceğinizi nereden biliyorsunuz ve bu bilgileri testinizi geliştirmek için kullanıyorsunuz?

Bir deneyimi doğrulamak için istatistiksel anlamlılık hesaplayıcı kullanmak kadar basit mi?

Bir deney raporunda yeterince yeşil gösteriyorsa, A/B testi yapmak başarılı mıdır - yoksa başka faktörlere de bakmalı mıyız?

İstatistiksel anlamlılık hesaplayıcıları, doğru testler için gerekli olsa da, tüm hikayeyi anlatmazlar. Dönüştürme raporlarınızdan en iyi şekilde yararlanmak için A/B testi istatistiklerini sağlam bir şekilde anlamanız gerekir.

Ve neden böyle?

Çünkü A/B testi temelde bir istatistiksel analiz yöntemidir. Biri olmadan diğerine sahip olamazsın.

Bir A/B testi veya deneyimi, iki veri seti arasındaki ilişki hakkında bir hipotezin geliştirildiği ve istatistiksel anlamlılığın bulunup bulunmadığını görmek için karşılaştırıldığı istatistiksel hipotez testinin bir örneğidir.

Bu nedenle, ister acemi ister deneyimli bir kullanıcı olun, raporlarınızda bulunan tüm test istatistiklerini anlamak ve A/B testlerinizden daha iyi sonuçlar almak için okumaya devam edin!

Peki bir A/B test raporuyla ne yapabilirsiniz? İki pratik örneğe bir göz atalım.

örnek 1

Bir e-ticaret işletmesi, dönüşüm oranlarını artırmak için ürün sayfalarını optimize etmeyi planlıyor.

Bu özel durumda,

ürün sayfası dönüşüm oranı = sipariş sayısı / ürün sayfasını ziyaret edenlerin sayısı

Pazarlama ekibi, üç yeni ürün sayfası tasarımını değerlendiriyor. Dört olasılıktan en etkili olanı seçmek istiyorlar: mevcut bir tasarım ve üç yeni. Dönüşüm oranının bir faktör olduğu göz önüne alındığında, en iyi performansı göstereni belirlemek için Deneyimleri Dönüştürme raporunu ve istatistiksel yöntemlerini nasıl kullanabilirler?

Örnek 2

Bir SaaS web sitesi, fiyatlandırma sayfasını değiştirerek üye tabanını büyütmeyi umuyor.

Onlar için,

fiyatlandırma sayfası dönüşüm oranı = abonelik sayısı / fiyatlandırma sayfasını ziyaret edenlerin sayısı

Pazarlama, herhangi birinin mevcut olandan daha fazla abone çekip çekemeyeceğini görmek için üç farklı tasarımı değerlendiriyor.

Deneyimleri Dönüştür raporunu ve istatistiksel yöntemlerini kullanarak, dönüşüm oranını bir seçim kriteri olarak kullanarak böyle bir karşılaştırmayı nasıl yapabilirler?

Bu makale, Deneyimleri Dönüştürme raporunun neler içerdiğini, web sitenizi geliştirmek için nasıl kullanabileceğinizi ve harekete geçebilmeniz için ziyaretçilerinizin deneyimlerinin ayrıntılı analizini nasıl yorumlayacağınızı açıklayacaktır.

A/B Dönüştürme test raporlarının ardındaki istatistikleri anlamanıza yardımcı olacak, takip edilmesi kolay bir kılavuz için okumaya devam edin.

Bir Dönüştürme Deneyimi Raporunun Her Bölümünün Ayrıntılı Haritası

Bir Convert kullanıcısı olarak, raporlar aracılığıyla web sitenizin performansı hakkında ayrıntılı bilgilere erişebilirsiniz. Hangi bilgilerin sunulduğunu ve web sitenizin performansını artırmak için en iyi nasıl kullanılacağını tam olarak anlayabilmeniz için bir Dönüştürme raporunun tüm öğelerine kapsamlı bir göz atalım.

Görüntülemek istediğiniz deneyimi seçip Rapor sekmesine tıklayarak raporlara erişebilirsiniz.

Bu bölümde dört farklı bölüm göreceksiniz:

• Üst Menü
• Özet
• Varyasyonlar
• Hedefler

➢ Üst Menü

Üst menü, aşağıdaki bilgilere hızlı erişim sağlar:

• Başlangıç ​​Tarihi : Deneyimin başladığı tarih
• Çalışan Günler : deneyimin devam ettiği süre
• Rapor Aralığı : bir tarih filtresi, belirli bir süre için verileri filtrelemenize olanak tanır
• Segment : raporu ziyaretçi segmentlerine göre filtreleyin
• Tüm Test Edilen Kullanıcılar : teste katılan kullanıcı sayısı
• Toplam Dönüşümler : toplam hedef dönüşüm sayısı. Dönüştürme, benzersiz ziyaretçi başına yalnızca tek hedefli dönüşümleri izler. Birden çok hedef dönüşüm için bu sayfaya göz atın.
• Hedefler : Belirli bir deneyimin sahip olduğu gol sayısı

Belirli Bir Tarih Aralığı için Filtre

Rapor Aralığı kullanılarak veriler belirli bir tarih aralığı için filtrelenebilir. Özel tarih aralıkları, mevcut seçenekler veya takvim denetimi kullanılarak belirlenebilir.

Belirli Bir Segment için Filtre

Raporu "Tüm Kullanıcılar" açılır kutusundan seçerek ziyaretçi segmentlerine göre filtreleyebilirsiniz. gibi soruları yanıtlamak için bunu kullanabilirsiniz.

• Farklı kaynaklardan gelen trafik deneyimde nasıl davrandı?
• Mobil ve masaüstünde kazanan varyasyon neydi?
• En yeni kullanıcıları hangi varyasyon çekti?

Kuruluşunuz için önemli olan ve çeşitli kullanıcı davranışları ve amaç sinyalleri sergilemesi muhtemel kitleleri/segmentleri hedeflemelisiniz.

Her bir varyasyonun nasıl performans gösterdiğini görmek için her hedef kitle için iyileştirme ve güven puanlarını inceleyin. Analizinizin sonuçlarına bağlı olarak, tüm trafiğiniz için kazanan varyasyonu başlatmaya veya tahsisinizi ayarlamaya karar verebilirsiniz.

Bir dönüştürme deneyimi raporu aşağıdaki segmentleri içerir:

• kullanılan tarayıcı,
• kullanılan cihaz,
• yeni ve eski ziyaretçiler,
• kullanıcı ülke,
• trafik kaynağı,
• kıta ve
• 10 özel segment.

Ayrıca üç noktalı menüyü kullanabilir ve başka eylemler uygulayabilirsiniz:

Raporu Paylaş

Raporu Paylaş'a tıklamak, deneyim verilerini indirmek için aşağıdaki seçeneklerin bulunduğu bir açılır pencere açar:

Kodu Görüntüle

Kodu Görüntüle, Dönüştürme izleme kodunuza erişmenizi sağlayan ikinci seçenektir:

İstatistik Ayarları

Üçüncü seçenek olan İstatistik Ayarları, aşağıdakileri yapılandırmanıza izin verir:

• Güven düzeyi (istatistiksel önem) — burada açıklanmıştır
• İşlem Aykırı Değerleri - burada açıklanan
• Otomasyonlar - burada açıklanan
• Deneyim verilerini sıfırlamak için İstatistikleri Sıfırla düğmesi

Deneyimi Duraklat

Dördüncü bir seçenek, deneyimi duraklatmanıza olanak tanır.

➢ Özet

Dönüştürme deneyimi raporunuzun Özet bölümünde, deneyiminiz için geçerli olan Site Alanı ve Hedef Kitle koşullarının bir özetini bulacaksınız. Ayrıca bazı akıllı öneriler sunar:

Akıllı Önerileri Etkinleştir

Akıllı Önerileri etkinleştirmek için Proje Yapılandırmanıza, Diğer Ayarlar'a gidin:

Akıllı Önerileri Görüntüle

Bu akıllı önerileri iki yerde görüntüleyebilirsiniz.

1. Rapor özetinde:

Sonuçlarınıza bağlı olarak aşağıdaki mesajlar görünebilir:

• Önemli ve artış negatif : %{lift} negatif artışla ${variant_name} varyantının en iyi performans gösteren varyant olduğunu gözlemliyoruz. ${primary_goal_name} hedefi için yapılan deneme önemli. Öğrenilenleri çıkarmanızı ve yeni bir hipotez tasarlamanızı öneririz.
• Önemli ve olumlu artış : Tebrikler! ${primary_goal_name} için ${variant_name} şu anda %${lift}'lik bir iyileştirme ile kazanıyor. Deney önemlidir.”
• Önemsiz, olumlu artış : ${primary_goal_name} için geçerli bir sonuç çıkarmak için daha fazla ziyaretçi gerekiyor. Yalnızca %{lift} artışla en iyi performans gösterenin ${variant_name} olduğunu görüyoruz, ancak kesin bir sonuca varılmadan önce daha fazla ziyaretçiye ihtiyacı var.
• Önemsiz, negatif artış : ${primary_goal_name} için geçerli bir sonuç çıkarmak için daha fazla ziyaretçi gerekiyor. Lütfen bir sonuca varılmadan önce testi devam ettirin.

2. Genişletilmiş Hedefler kutusunda:

Sonuçlarınıza göre görebileceğiniz bazı olası mesajlar şunlardır:

• Tebrikler {variation.name} kazandı, %00 istatistiksel güvenle eminiz.
• Maalesef {variation.name}, {baselineText}'den daha kötü performans gösterdi, %00 istatistiksel güvenle eminiz.
• {variation.name}, {baselineText}'den daha iyi performans gösteriyor gibi görünüyor, ancak henüz emin olamıyoruz
• {variation.name} için karar vermek için henüz çok erken

Temel Ekran Görüntüsü

Temel ekran görüntüsünün üzerine gelirseniz, bazı ek seçenekler göreceksiniz:

• Gerçek boyutlu anlık görüntüyü görüntüleyin
• Önizleme Varyasyonu
• Varyasyon anlık görüntüsünü yeniden al

Canlı Önizleme ve Kuvvet Varyasyon Bağlantıları

Önizleme Varyasyonu, Canlı Önizleme ve Varyasyonu Zorla URL'lerini alabileceğiniz bir açılır pencere açar.

➢ Varyasyonlar

Varyasyonlar adlı bir bölüm, deneyim varyasyonlarınız hakkında ayrıntılar sağlar. Durum sütunundan sonraki her sütun, deneyim hedeflerinizi temsil eder:

Sütunları etkinleştirebilir/devre dışı bırakabilir veya üç noktalı menüyü tıklayarak yeniden düzenleyebilirsiniz:

Durum düğmesi etkinleştirildiğinde, varyasyonları duraklatabileceksiniz:

Varyasyon satırlarından birinde üç noktalı menüyü tıkladığınızda kullanabileceğiniz bazı ekstra seçenekler vardır:

• Zorunlu varyasyon URL'sini aç
• Varyasyonu Durdur
• Yeni bir Dağıtıma Dönüştür
• Yeni bir Denemede Orijinale Dönüştürme
• Varyasyonu Düzenle
• Canlı önizleme

➢ Hedefler

Bu bölümde, deneyim hedeflerinin her birinin kısa bir açıklaması ve bir sonraki bölümde analiz edeceğimiz birkaç ilginç istatistik ve grafik bulunabilir. Devam etmeden önce, aşina olmadığınız birkaç terimi açıklayalım.

• Varsayılan Hedef : Hedeflerinizden birinin yanında Varsayılan Hedef terimini görürseniz, bu, her deneyime eklediğimiz 2 varsayılan hedeften biri olduğu anlamına gelir.
• Birincil Hedef : Sizin tarafınızdan karar verilmesi gereken yalnızca bir birincil hedef olabilir. Deneyiminiz için en önemli hedeftir. Bu, hedefler listesinde ilk olarak gösterilecek ve deneyim durumu buna göre değiştirilecektir.
• SRM : Testinizde tespit edilen Potansiyel Örnek Oranı Uyuşmazlığı. Bunu fark ederseniz, deneyim kurulumunu kontrol edin veya [email protected] ile iletişime geçin.
• Temel : Bu, varsayılan deneyim temelinizdir.

Şimdi, bu rapordaki öğelerin her birini inceleyelim.

Varyasyon Adı

Bu, varyasyonunuzun adıdır. Varyasyon istatistiklerini göstermek ve gizlemek için yanında etkinleştirebileceğiniz/devre dışı bırakabileceğiniz bir onay kutusu vardır.

Gelişme

Web sayfanızın orijinalinin ve varyasyonunun dönüşüm oranları açısından nasıl performans gösterdiğini buradan görebilirsiniz. Yüzde farkı pozitif veya negatif olabilir. Hesaplanan güven, istatistik ayarlarında ayarlanan güvenden büyük olduğunda, renk şu şekilde değişir:

• için kırmızı -
• + için yeşil
• Diğer için gri

Ziyaretçi

Bu, deneyime gelen toplam ziyaretçi sayısıdır. Benzersiz ziyaretçiler burada listelenir.

Dönüşümler

Bu, her bir hedef/varyasyon için toplam dönüşüm sayısını temsil eder. Kullanıcının gerçekleştirmesini istediğiniz herhangi bir işlem, dönüşüm olarak adlandırılır. Web sitenize bağlı olarak, bu, bir düğmeyi tıklamaktan satın alma işlemine kadar her şeyi içerebilir.

Dönüşüm oranı

Bu sütun, dönüşüme dönüşen ziyaretçilerin yüzdesini gösterir.

Güven Düzeyi (İstatistiksel Önem)

A/B sonuçlarınızı yorumlarken istatistiksel anlamlılık en önemli kavramdır.

Bu sütun, deneme varyasyonunun dönüşüm oranının güven aralığının orijinalden ne kadar farklı olduğunu gösterir. Güven herhangi bir sayı göstermiyorsa, bunun nedeni (varsayılan olarak) hesaplamak için her varyasyon için en az 5 hedef dönüşümün gerekli olmasıdır. Ayrıca her varyasyon için belirlenen minimum ziyaretçi sayısını da karşılamalıdır. Minimum dönüşümleri değiştirdiyseniz, seçtiğiniz minimumun karşılanması gerekir.

Bu sütun, aşağıdakileri belirten gri/yeşil noktalar içerir:

• %75-%85 güven için 1 yeşil nokta
• %85-%95 güven için 2 yeşil nokta
• %95-96 güven için 3 yeşil nokta
• %96-97 güven için 4 yeşil nokta
• %97 ve üzeri için 5 yeşil nokta

Kutu Grafiği (Güven Aralığı)

Kutu grafiği veya güven aralığı, gerçek dönüşüm oranının düştüğü bir değer aralığını gösterir.

Sonuçlar tartışılırken orijinal ve varyasyon sayfaları için dönüşüm oranı değerinde gözlemlenen farkı ve dönüşüm oranlarının gerçekte düşebileceği aralığı göstermek iyi bir fikirdir. Fark aralığı, sayı doğrusu ölçeğinde çizilen olası bir değer aralığıdır.

Mümkün olan en yüksek dönüşüm oranı aralığı, sayı ölçeğinde üst sınır ile işaretlenir ve mümkün olan en düşük dönüşüm oranı aralığı, sayı ölçeğinde alt sınır ile işaretlenir.

Ölçekte aşağıdaki renkleri görebilirsiniz:

• Gri alan: Deneyin hala sonuçsuz olduğunu veya geçerli bir sonuç bildirmek için ek kişilere ihtiyaç olduğunu gösterir.
• Kazanan bir varyasyon yeşil renkle gösterilir.
• Kaybeden bir varyans kırmızı renkle gösterilir.

Kutu grafiğinde, Orijinal ve Varyasyon dönüşüm oranları arasındaki örtüşmeye dikkat edin.

Orijinal için dönüştürme oranlarının %10-20 arasında bir güven aralığına sahip olduğunu ve Varyasyon 1 için dönüştürme oranlarının %15-25 arasında bir güven aralığına sahip olduğunu varsayalım. İki güven aralığı arasındaki örtüşmenin %5 olduğunu ve %15-20 arasında bir yerde olduğunu belirtmekte fayda var. Bu bağlamda, B'deki varyasyonun gerçekten büyük bir gelişme olup olmadığını söylemek mümkün değil. Bu nedenle, kutu çizimleri çakışıyorsa Convert kazanan ilan etmeyecektir.

Durum

Bu size varyasyon hakkında bir durum raporu gösterir.

Grafikler

Buradan üç farklı grafik türüne erişebilirsiniz.

Aşağıda her birinin açıklaması bulunmaktadır:

Dönüşümler

• Zaman İçinde Dönüşüm Oranı : Y ekseni dönüşüm oranını, X ekseni zamanı gösterir. Her satır bir varyasyonu (kümülatif dönüşüm oranı) + tüm denemenin dönüşüm oranı için bir tane (tüm varyasyonların ortalaması) + sağda ikinci bir Y ekseni, tüm deneme içindeki kümülatif ziyaretçi sayısını temsil eder
• Zaman İçinde Dönüşümler : Y ekseni dönüşümleri, X ekseni zamanı gösterir. Her satır bir varyasyonu (dönüşümler) + tüm denemenin dönüşümleri için bir tane (tüm varyasyonların ortalama dönüşümleri) + sağda ikinci bir Y ekseni, tüm deneme içindeki kümülatif dönüşüm sayısını temsil eder.
• Zaman İçinde Günlük Dönüşüm Oranı : kümülatif olmayan dönüşüm oranı – Y ekseninin kümülatif ziyaretçileri göstermemesi ve kümülatif olmayanın API için kullanılması dışında, Zamana Göre Dönüşüm Oranı grafiğine benzer.
• Zaman İçinde İyileştirme : X ekseninde ve her bir varyasyonu sıralar (ancak orijinal değil) üzerinde gün geçtikçe dönüşüm oranındaki gelişme.
• Zaman İçinde Günlük Ziyaretçiler

Ürün:% s

• Ziyaretçi Başına Ürünler : ziyaretçi başına kümülatif ortalama sipariş edilen ürünler - Y ekseni ziyaretçi başına ortalama sipariş edilen ürünleri gösterir, X ekseni zamanı gösterir. Her satır bir varyasyonu (ziyaretçi başına kümülatif ortalama sipariş edilen ürünler) + tüm denemenin ziyaretçi başına ortalama sipariş edilen ürünler için bir (tüm varyasyonların ortalaması) + sağda tüm deneme içindeki kümülatif ziyaretçi sayısını temsil eden ikinci bir Y ekseni .
• Ziyaretçi Başına Günlük Ürünler : ziyaretçi başına kümülatif olmayan ortalama sipariş edilen ürünler
• Zaman İçinde İyileştirme : X ekseninde ürünlerde gün geçtikçe gelişme ve her varyasyonu sıralar (ancak orijinal değil)
• Zaman İçinde Günlük Ziyaretçiler

Hasılat

• Zaman İçinde Gelir : ziyaretçi başına kümülatif ortalama gelir – Y ekseni ziyaretçi başına ortalama geliri, X ekseni zamanı gösterir. Her satır bir varyasyonu (ziyaretçi başına ortalama gelir) + tüm denemenin ziyaretçi başına ortalama geliri için bir tane (tüm varyasyonların ortalaması) + sağda ikinci bir Y ekseni, tüm deneme içindeki kümülatif ziyaretçi sayısını temsil eder
• Ziyaretçi Başına Günlük Gelir : ziyaretçi başına kümülatif olmayan ortalama gelir
• Zaman İçinde İyileştirme : X ekseninde ve her bir varyasyonu sıralar (ancak orijinal değil) üzerinde günden güne gelir artışı
• Zaman İçinde Ziyaretçiler

Fareyi Grafiğin Üzerine Getirin

Grafiğin üzerine gelindiğinde, her varyasyonun o gündeki dönüşüm oranı ve varyasyonun orijinale kıyasla dönüşüm oranı gösterilir:

Standart Sapmayı Görüntüle

Standart sapmayı (standart hata olarak da adlandırılır) görüntülemek için kutuyu da işaretleyebilirsiniz:

İstatistiksel Formüller Dönüştür Kullanımlar

Not: İstatistik terimleri farklı bir blogda ele alındığından burada tekrar etmeyeceğiz. Buradaki amacımız Convert'in kullandığı matematik formüllerinden bahsetmek.

Dönüştürme, 0,05 güven düzeyinde (%95) sık kullanılan iki kuyruklu bir Z testi kullanır. Bu, %80-99 arasında değiştirme seçeneği ile normal simetrik bir dağılım olan her bir kuyruk için .025'tir.

Yakında dönüştürme raporlarına bayes istatistikleri ekleyeceğiz. Daha fazla bilgi için takipte kalın.

Herhangi bir yönde (yükselme veya düşme) istatistiksel olarak anlamlı bir fark bulmak istediğimizde iki kuyruklu bir test kullanılmalıdır. Buradaki amaç, varyasyonun dönüşümlerde istatistiksel olarak anlamlı bir artışa veya azalmaya yol açıp açmadığını belirlemektir.

Dönüşüm oranı

Bu formül, her bir varyasyon için Dönüşüm Oranını hesaplamak için kullanılır:

(Toplam Hedef Dönüşüm Sayısı / Tekil Ziyaretçi Sayısı) * 100

Varyasyonlar için Dönüşüm Oranı Değişikliği

Deneyim varyasyonu ile orijinal arasındaki dönüşüm oranının yüzde değişimi şu şekilde hesaplanır:

Güvenilirlik aralığı

Her varyasyon için dönüşüm oranı etrafında bir güven aralığı hesaplamak için istatistiksel bir yöntem kullanılır.

Standart hata (1 standart sapma için), bir binom dağılımı için Wald yöntemi kullanılarak hesaplanır. Bu nedenle, belirli bir dönüşüm oranı ( p ) ve örnek boyutu (Tekil Ziyaretçi sayısı) için standart hata şu şekilde hesaplanır:

Standart hata, binom dağılımının normal bir dağılımla (merkezi limit teoremi nedeniyle) yaklaşılabileceğini varsayan bu formül kullanılarak hesaplanır. ). Belirli bir hedef üzerinde 10'dan fazla dönüşüm olduğunda, örnek dağılımı normal bir dağılımla tahmin edilebilir.

Dönüştürme oranı için güven aralığını belirlemek için standart hatayı standart bir normal dağılımın 95. yüzdelik dilimiyle çarpın (1,65'e eşit bir sabit değer).

Başka bir deyişle, gerçek dönüşüm oranınızın p şu aralıkta olduğundan %90 güvenle emin olabilirsiniz:

Z-Skoru

Bir Z-Skoru kullanarak, sonuçların anlamlı olup olmadığını belirleyebiliriz (dönüşüm oranlarının rastgele varyasyon nedeniyle farklılık göstermediği):

Z-Skoru orijinal ve varyasyon ortalama değerleri arasındaki standart sapmaların sayısıdır. Standart bir normal dağılım kullanılarak, görüntüleme olay sayısı 1000'den büyük olduğunda ve aşağıdaki kriterlerden biri karşılandığında %95 önem belirlenir:

• Olasılık(ZSkor) > %95
• Olasılık(ZSkor) < %5

Gelişme

Farklı olma şansı (raporda gösterilir), şu durumlarda Olasılık (Z-Skoru) değerinden elde edilir:

• Eğer
  
  Olasılık(ZSkor) <= 0,5
  
  sonra
  İyileştirme = 1- Olasılık(ZScore)
  

• Eğer
  
  Olasılık(ZSkor) > 0,5
  
  sonra
  İyileştirme = Olasılık(ZScore)

Deneyim Raporlarını Yorumlarken Nelere Bakmalı?

Artık tüm dönüştürme deneyimi raporu bölümlerine ve istatistiksel formüllerine aşina olduğunuza göre, birkaç farklı deneyim raporunu yorumlamaya çalışalım ve bunlardan ne elde edebileceğinizi görelim.

Deneyim Verileri Önemli mi?

Sonuçları değerlendirmeden ve bir sonraki adımda ne yapacağınıza karar vermeden önce, deneyim verilerinin önemli olduğundan emin olun. Dönüştürme deneyimi raporundaki "Güven Düzeyi"ni kullanarak, bulguların şans eseri mi yoksa kullanıcılarınızın davranışının gerçek bir yansıması mı olduğunu belirleyebilirsiniz.

%95 anlamlılık düzeyi, gözlemlenen sonuçların şans eseri olmadığından %95 emin olduğunuz anlamına gelir. Ayrıca %5 oranında yanılma ihtimaliniz olduğu anlamına gelir.

Alternatif olarak, güven düzeyini, deneyi tekrarlarsanız farklı sonuçlar elde etme olasılığı olarak düşünebilirsiniz.

%90 güven derecesi kazanırsanız, testi tekrarlarsanız farklı yanıtlar alma olasılığınız 10'da 1'dir. %95 güvenle 20'de 1 şans varken, %99 güvenle 100'de 1 ihtimal var.

Kazanan Varyasyon: Olumlu Etki

Orijinalden daha iyi performans gösteren ve olumlu bir gelişmeyle sonuçlanan önemli bir varyasyon örneği burada.

"Aboneliği Özelleştirme - 1. Adım sayfa görüntüleme" hedefi için 1. Varyasyon, bu deneyimde Varyasyon 0'ı (Orijinal) %98.7 oranında geçme şansına sahiptir. Kutu grafiği, Varyasyon 1'in seçilmesinin Orijinal'e göre %13,73 +- %0,6'lık bir iyileştirme ile sonuçlanabileceğini göstermektedir.

Bu deneyimde, iyileştirmenin +%7,20 olduğunu söylemek güvenlidir, ancak dönüşüm oranının %13,73 +-%0,6 arasında olması konusunda eşit bir şans vardır. Durum ne olursa olsun, Varyasyon 1 Orijinale göre daha iyi olacaktır, bu nedenle bu, onu uygulamak için güçlü bir göstergedir!

Neden? Niye?

Aynı deneyim aynı koşullar altında 10.000 kez tekrarlansaydı, Varyasyon 1 yine de 10.000'den 9.870 kez kazanırdı.

Varyasyonu Kaybetmek: Olumsuz Etki

Varyasyon 1'in olumlu bir gelişme sağlamadığı, bunun yerine Varyasyon 0 (Orijinal) Dönüşüm Oranı üzerinde olumsuz bir etkisi olduğu önemli bir deneyimin sonuçlarına daha yakından bakalım.

Bu deneyimde, Varyasyon 1'in Dönüşüm Oranı üzerinde Varyasyon 0'a göre kaybetme olasılığı %98,87'dir. Varyasyon 1 ile Orijinalin Dönüşüm Oranı üzerinde %4,5 +-%1 arasında olumsuz bir etki beklenebilir.

Kesin Olmayan Sonuçlar: Nötr Etki

Şimdi önemli olmayan bir deneyime bakalım. Aşağıdaki deneyimde, varyasyonların hiçbirinin yeterince yüksek bir kazanma şansı veya %95'in üzerinde bir olasılığı yoktur.

Varyasyon 1'in Varyasyon 0'ı kazanma olasılığı bu deneyimde sadece %84,58'dir.

Atabileceğiniz bir sonraki adım nedir?

Hepsi hipoteze ve deneyimin nihai amacına bağlı olarak seçilebilecek birkaç seçenek vardır. Durum ne olursa olsun, masada her zaman birkaç seçenek vardır:

• Kitlenizi genişletin. Ziyaretçi segmentiniz çok sınırlıysa, daha geniş bir kitleye sahip bir segmente odaklanmayı deneyin.
• Bazı varyasyonları kaldırın. Örneğin, dört varyasyon geliştirdiyseniz, aynı deneyimi iki veya üç varyasyonla çalıştırmayı deneyin.
• Daha uzun bir süre çalışır durumda bırakın.
• İçgüdülerinizi takip edin ve markanızla en uyumlu olanı seçin. Sonuçlar iki varyasyonda benzerse ve iş arkadaşlarınız birinin marka gereksinimlerinizle diğerinden daha uyumlu olduğu konusunda hemfikirse, kazanan olarak birini seçmeyi tercih edebilirsiniz.
• Deneyimi yeniden başlatın. İlk sonuçları doğrulamak veya geçersiz kılmak için aynı testi iki kez çalıştırmak akıllıca bir uygulamadır. Koşulların aynı olma olasılığı düşük olduğundan (farklı zaman periyodu, trafik dalgalanmaları vb.), sonuçlar farklı olabilir!
• Olmasına izin ver. Orijinalinizin zaten optimize edilmiş olması mümkündür.

Eşit Bir Trafik Dağılımı Var mı?

Bir A/B deneyimi kurduğunuzda, her varyasyona bir trafik yüzdesi atarsınız (varsayılan olarak 50/50).

Ziyaretçi sayısı, tahmin edilen trafik dağılımını temsil etmelidir.

Önemli bir fark olması durumunda, neredeyse kesinlikle bir örneklem oranı uyumsuzluğu (SRM) vardır.

50/50'lik bir bölünmede, bir tarafta 400, diğer tarafta 600 ziyaretçi alırsanız, sonuçlar güvenilir değildir. Bu olduğunda, A/B deneyimi kurulumunuzu incelemenin zamanı geldi. Sonuçlar, dahili IP adresleri veya harici botlar gibi aykırı değerler tarafından çarpıtılabilir.

Unutmayın, veriler yalnızca onunla yaptığınız analiz kadar iyidir. Doğru ve eyleme geçirilebilir içgörüler için Deneyimleri Dönüştür'ün derinlemesine raporlaması dahil olmak üzere emrinizde olan tüm araçlardan yararlanın.

Henüz bir hesabınız yoksa, ücretsiz deneme için kaydolun ve 15 gün boyunca deneyin. Bu yazıda tartıştığımız harika özelliklerin tümüne ve daha pek çok şeye erişebileceksiniz. Herhangi bir sorunuz varsa veya başlamak için yardıma ihtiyacınız varsa, ekibimiz yardım etmek için burada.