Cara Membaca dan Menafsirkan Laporan Pengalaman Orang Insaf dengan Akurat

Jika Anda adalah pengguna Konversi, Anda tahu bahwa laporan Anda dikemas dengan data yang berharga. Tapi apa yang diwakili oleh semua angka dan grafik itu? Dan bagaimana Anda tahu kesimpulan apa yang dapat Anda tarik darinya dan Anda menggunakan informasi itu untuk meningkatkan pengujian Anda?

Apakah semudah menggunakan kalkulator signifikansi statistik untuk memvalidasi pengalaman?

Apakah memanggil pengujian A/B berhasil jika menunjukkan warna hijau pada laporan eksperimen cukup – atau haruskah kita melihat faktor lain juga?

Sementara kalkulator signifikansi statistik sangat penting untuk pengujian yang akurat, mereka tidak menceritakan keseluruhan cerita. Untuk mendapatkan hasil maksimal dari laporan Konversi, Anda harus memiliki pemahaman yang kuat tentang statistik pengujian A/B.

Dan mengapa demikian?

Karena pengujian A/B pada dasarnya adalah metode analisis statistik. Anda tidak dapat memiliki satu tanpa yang lain.

Pengujian atau pengalaman A/B adalah contoh pengujian hipotesis statistik, di mana hipotesis tentang hubungan antara dua kumpulan data dikembangkan dan dibandingkan untuk melihat apakah signifikansi statistik ditemukan.

Jadi, apakah Anda seorang pemula atau pengguna berpengalaman, baca terus untuk mendapatkan pemahaman tentang berbagai statistik pengujian yang tersedia di laporan Anda dan dapatkan hasil yang lebih baik dari pengujian A/B Anda!

Jadi apa yang dapat Anda lakukan dengan laporan pengujian A/B? Mari kita lihat dua contoh praktis.

Contoh 1

Sebuah bisnis e-commerce berencana untuk mengoptimalkan halaman produk untuk meningkatkan tingkat konversi.

Dalam situasi khusus ini,

tingkat konversi halaman produk = jumlah pesanan / jumlah pengunjung halaman produk

Tim pemasaran sedang mengevaluasi tiga desain halaman produk baru. Mereka ingin memilih yang paling efektif dari empat kemungkinan: desain yang sudah ada dan tiga yang baru. Bagaimana mereka dapat menggunakan laporan Pengalaman Konversi dan metode statistiknya untuk menemukan yang berkinerja terbaik, mengingat rasio konversi merupakan salah satu faktornya?

Contoh 2

Dengan mengubah halaman harganya, situs web SaaS berharap dapat menumbuhkan basis anggotanya.

Untuk mereka,

tingkat konversi halaman harga = jumlah langganan / jumlah pengunjung halaman harga

Pemasaran sedang mengevaluasi tiga desain berbeda untuk melihat apakah salah satu dari mereka dapat menarik lebih banyak pelanggan daripada yang sekarang.

Dengan menggunakan laporan Pengalaman Konversi dan metode statistiknya, bagaimana mereka dapat membuat perbandingan seperti itu menggunakan rasio konversi sebagai kriteria pemilihan?

Artikel ini akan menjelaskan isi laporan Konversi Pengalaman, bagaimana Anda dapat menggunakannya untuk meningkatkan situs web Anda, dan bagaimana menafsirkan analisis mendetail tentang pengalaman pengunjung Anda sehingga Anda dapat mengambil tindakan.

Baca terus untuk panduan yang mudah diikuti untuk membantu Anda memahami statistik di balik laporan pengujian Konversi A/B.

Peta Detil dari Setiap Bagian dari Laporan Pengalaman Orang Insaf

Sebagai pengguna Konversi, Anda memiliki akses ke informasi terperinci tentang kinerja situs web Anda melalui laporan. Mari kita lihat secara menyeluruh semua elemen laporan Konversi sehingga Anda dapat memahami dengan tepat informasi apa yang disajikan, dan cara terbaik menggunakannya untuk meningkatkan kinerja situs web Anda.

Anda dapat mengakses laporan dengan memilih pengalaman yang ingin Anda lihat dan mengklik tab Laporan.

Di bagian ini, Anda akan melihat empat bagian berbeda:

• Menu Utama
• Ringkasan
• Variasi
• Sasaran

Menu Utama

Menu atas menyediakan akses cepat ke informasi berikut:

• Tanggal Mulai : tanggal pengalaman dimulai
• Days Running : lamanya waktu pengalaman berjalan
• Rentang Laporan : filter tanggal memungkinkan Anda memfilter data untuk periode waktu tertentu
• Segmen : memfilter laporan menurut segmen pengunjung
• Semua Pengguna yang Diuji : jumlah pengguna yang berpartisipasi dalam tes
• Konversi Total : jumlah total konversi sasaran. Konversi hanya melacak konversi sasaran tunggal per pengunjung unik. Lihat halaman ini untuk beberapa konversi sasaran.
• Sasaran : jumlah gol yang dimiliki oleh pengalaman tertentu

Filter untuk Rentang Tanggal Tertentu

Data dapat difilter untuk rentang tanggal tertentu menggunakan Rentang Laporan. Rentang tanggal khusus dapat ditentukan menggunakan pilihan yang ada atau kontrol kalender.

Filter untuk Segmen Tertentu

Anda dapat memfilter laporan menurut segmen pengunjung dengan memilihnya dari kotak tarik-turun “Semua Pengguna”. Anda dapat menggunakan ini untuk menjawab pertanyaan seperti

• Bagaimana perilaku lalu lintas dari sumber yang berbeda dalam pengalaman?
• Apa variasi pemenang di seluler versus desktop?
• Variasi mana yang paling banyak menarik pengguna baru?

Anda harus menargetkan audiens/segmen yang penting bagi organisasi Anda dan yang cenderung menunjukkan berbagai perilaku pengguna dan sinyal niat.

Periksa skor peningkatan dan kepercayaan diri untuk setiap audiens untuk melihat performa setiap variasi. Bergantung pada hasil analisis Anda, Anda dapat memutuskan apakah akan meluncurkan variasi pemenang ke semua lalu lintas Anda atau menyesuaikan alokasi Anda.

Laporan pengalaman Konversi mencakup segmen berikut:

• peramban yang digunakan,
• perangkat yang digunakan,
• pengunjung baru vs lama,
• negara pengguna,
• sumber lalu lintas,
• benua, dan
• 10 segmen khusus.

Anda juga dapat menggunakan menu tiga titik dan menerapkan beberapa tindakan lebih lanjut:

Bagikan Laporan

Mengklik Bagikan Laporan akan membuka sembulan dengan opsi berikut untuk mengunduh data pengalaman:

Lihat Kode

Lihat Kode adalah opsi kedua, yang memberi Anda akses ke kode pelacakan Konversi:

Pengaturan Statistik

Opsi ketiga, Pengaturan Statistik, memungkinkan Anda untuk mengonfigurasi hal berikut:

• Tingkat kepercayaan (signifikansi statistik) — dijelaskan di sini
• Pencilan Transaksi — dijelaskan di sini
• Otomatisasi — dijelaskan di sini
• Tombol Atur Ulang Statistik untuk mengatur ulang data pengalaman

Jeda Pengalaman

Opsi keempat memungkinkan Anda untuk menjeda pengalaman.

Ringkasan

Di bagian Ringkasan laporan pengalaman Konversi Anda, Anda akan menemukan ringkasan Area Situs dan kondisi Pemirsa yang berlaku untuk pengalaman Anda. Ini juga menawarkan beberapa rekomendasi cerdas:

Aktifkan Rekomendasi Cerdas

Buka Konfigurasi Proyek Anda, Pengaturan Lainnya, untuk mengaktifkan Rekomendasi Cerdas:

Lihat Rekomendasi Cerdas

Anda dapat melihat rekomendasi cerdas ini di dua tempat.

1. Dalam ringkasan laporan:

Pesan berikut mungkin muncul berdasarkan hasil Anda:

• Signifikan & peningkatan negatif : Kami mengamati bahwa varian ${variant_name} adalah varian dengan performa terbaik dengan peningkatan negatif sebesar ${lift}%. Eksperimen untuk sasaran ${primary_goal_name} adalah signifikan. Kami menyarankan penggalian pembelajaran dan merancang hipotesis baru.
• Peningkatan signifikan & positif : Selamat! Untuk ${primary_goal_name}, ${variant_name} saat ini unggul dengan peningkatan sebesar ${lift}%. Eksperimen itu penting.”
• Peningkatan positif yang tidak signifikan : Diperlukan lebih banyak pengunjung untuk menarik kesimpulan yang valid untuk ${primary_goal_name}. Kami hanya melihat bahwa ${variant_name} adalah yang berkinerja terbaik dengan peningkatan ${lift}%, tetapi membutuhkan lebih banyak pengunjung sebelum kesimpulan yang pasti dapat diberikan.
• Peningkatan negatif yang tidak signifikan : Diperlukan lebih banyak pengunjung untuk menarik kesimpulan yang valid untuk ${primary_goal_name}. Harap tetap uji berjalan sebelum kesimpulan dapat ditarik.

2. Di kotak Sasaran diperluas:

Berikut adalah beberapa kemungkinan pesan yang mungkin Anda lihat berdasarkan hasil Anda:

• Selamat {variation.name} menjadi pemenang, kami yakin dengan kepercayaan statistik 00%.
• Sayangnya, {variation.name} berkinerja lebih buruk daripada {baselineText}, kami yakin dengan kepercayaan statistik 00%.
• {variation.name} tampaknya berkinerja lebih baik daripada {baselineText}, tetapi kami belum dapat memastikannya
• Terlalu dini untuk menilai {variation.name}

Tangkapan Layar Dasar

Jika Anda mengarahkan kursor ke tangkapan layar dasar, Anda akan melihat beberapa opsi tambahan:

• Lihat snapshot ukuran sebenarnya
• Variasi Pratinjau
• Ambil kembali cuplikan variasi

Pratinjau Langsung dan Tautan Variasi Paksa

Variasi Pratinjau akan membuka sembulan tempat Anda bisa mendapatkan Pratinjau Langsung dan URL Variasi Paksa.

Variasi

Bagian yang disebut Variasi memberikan detail tentang variasi pengalaman Anda. Setiap kolom setelah kolom Status mewakili sasaran pengalaman Anda:

Anda dapat mengaktifkan/menonaktifkan kolom atau mengatur ulang dengan mengklik menu tiga titik:

Dengan mengaktifkan tombol status, Anda dapat menjeda variasi:

Ada beberapa opsi tambahan yang tersedia saat Anda mengeklik menu tiga titik di salah satu baris variasi:

• Buka URL variasi paksa
• Hentikan Variasi
• Konversikan ke Deploy baru
• Konversikan ke yang Asli dalam Eksperimen baru
• Edit Variasi
• Pratinjau Langsung

Tujuan

Deskripsi singkat dari masing-masing tujuan pengalaman dapat ditemukan di bagian ini serta beberapa statistik dan grafik menarik yang akan kami analisis di bagian berikutnya. Sebelum kita melanjutkan, mari kita jelaskan beberapa istilah yang mungkin tidak Anda kenal.

• Sasaran Bawaan : Jika Anda melihat istilah Sasaran Bawaan di samping salah satu sasaran Anda, itu artinya itu adalah salah satu dari 2 sasaran bawaan yang kami tambahkan ke setiap pengalaman.
• Tujuan Utama : Hanya ada satu tujuan utama, yang harus Anda putuskan. Ini adalah tujuan yang paling penting untuk pengalaman Anda. Ini akan ditampilkan pertama di daftar tujuan dan status pengalaman akan diubah berdasarkan ini.
• SRM : Ketidakcocokan Rasio Sampel Potensial terdeteksi pada pengujian Anda. Periksa pengaturan pengalaman atau hubungi [email protected] jika Anda menemukannya.
• Baseline : Ini adalah baseline pengalaman default Anda.

Sekarang, mari kita lihat setiap elemen dalam laporan ini.

Nama Variasi

Ini adalah nama variasi Anda. Ada kotak centang di sebelahnya yang dapat Anda aktifkan/nonaktifkan untuk menampilkan dan menyembunyikan statistik variasi.

Peningkatan

Anda dapat melihat di sini bagaimana kinerja asli dan variasi halaman web Anda dalam hal tingkat konversi. Perbedaan persentase bisa positif atau negatif. Ketika kepercayaan yang dihitung lebih besar dari kepercayaan yang ditetapkan dalam pengaturan statistik, warnanya berubah seperti ini:

• Merah untuk –
• Hijau untuk +
• Abu-abu untuk lainnya

Pengunjung

Ini adalah jumlah total pengunjung yang dikelompokkan ke dalam pengalaman. Pengunjung unik tercantum di sini.

Konversi

Ini menunjukkan jumlah total konversi untuk setiap sasaran/variasi. Tindakan apa pun yang Anda inginkan agar dilakukan pengguna disebut sebagai konversi. Bergantung pada situs web Anda, ini mungkin mencakup semuanya, mulai dari mengklik tombol hingga melakukan pembelian.

Tingkat konversi

Kolom ini menunjukkan persentase pengunjung yang berubah menjadi konversi.

Tingkat Keyakinan (Statistik Signifikansi)

Saat menafsirkan hasil A/B Anda, signifikansi statistik adalah konsep yang paling penting.

Kolom ini menunjukkan seberapa berbeda interval keyakinan untuk rasio konversi untuk variasi eksperimen dari yang asli. Jika keyakinan tidak menunjukkan angka apa pun, ini karena (secara default) ada minimal 5 konversi sasaran yang diperlukan untuk setiap variasi untuk menghitungnya. Itu juga harus memenuhi minimum pengunjung yang ditetapkan untuk setiap variasi. Jika Anda mengubah konversi minimum, minimum yang Anda pilih harus dipenuhi.

Kolom ini berisi titik abu-abu/hijau yang menunjukkan:

• 1 titik hijau untuk kepercayaan 75%-85%
• 2 titik hijau untuk kepercayaan 85% -95%
• 3 titik hijau untuk kepercayaan 95% -96%
• 4 titik hijau untuk kepercayaan 96%-97%
• 5 titik hijau untuk 97% ke atas

Plot Kotak (Interval Keyakinan)

Plot kotak atau interval kepercayaan menunjukkan rentang nilai di mana tingkat konversi sebenarnya turun.

Sebaiknya tunjukkan perbedaan yang diamati dalam nilai rasio konversi untuk laman orisinal dan variasi saat mendiskusikan hasil, dan rentang di mana rasio konversi sebenarnya dapat turun. Interval perbedaan adalah kemungkinan rentang nilai yang diplot pada skala garis bilangan.

Rentang rasio konversi tertinggi yang mungkin ditandai dengan batas atas pada skala angka, dan rentang terendah dari rasio konversi ditandai dengan batas bawah pada skala angka.

Pada skala, Anda dapat melihat warna berikut:

• Area abu-abu: Menunjukkan bahwa eksperimen masih belum meyakinkan atau bahwa orang tambahan diperlukan untuk menyatakan hasil yang valid.
• Variasi yang menang ditunjukkan dengan warna hijau .
• Varians yang kalah ditunjukkan dengan warna merah .

Di plot kotak, perhatikan tumpang tindih antara rasio konversi Asli dan Variasi.

Asumsikan bahwa rasio konversi untuk Asli memiliki interval keyakinan 10-20% dan rasio konversi untuk Variasi 1 memiliki interval keyakinan 15-25%. Perlu dicatat bahwa tumpang tindih antara dua interval kepercayaan adalah 5%, dan berada di antara 15-20%. Dalam konteks ini, tidak mungkin untuk mengatakan apakah variasi dalam B sebenarnya merupakan peningkatan besar. Inilah sebabnya, jika ada plot kotak yang tumpang tindih, Convert tidak akan menyatakan pemenang.

Status

Ini menunjukkan kepada Anda laporan status tentang variasi tersebut.

Grafik

Dari sini, Anda dapat mengakses tiga jenis grafik yang berbeda.

Di bawah ini adalah penjelasan masing-masing:

Konversi

• Tingkat Konversi Seiring Waktu : Sumbu Y menunjukkan tingkat konversi, sumbu X menunjukkan waktu. Setiap baris mewakili variasi (rasio konversi kumulatif) + satu untuk rasio konversi seluruh eksperimen (rata-rata semua variasi) + sumbu kedua Y di sebelah kanan yang mewakili jumlah kumulatif pengunjung di dalam seluruh eksperimen
• Konversi Sepanjang Waktu : Sumbu Y menunjukkan konversi, sumbu X menunjukkan waktu. Setiap baris mewakili variasi (konversi) + satu untuk konversi seluruh eksperimen (konversi rata-rata dari semua variasi) + sumbu kedua Y di sebelah kanan yang mewakili jumlah kumulatif konversi di dalam seluruh eksperimen.
• Rasio Konversi Harian Seiring Waktu : rasio konversi non kumulatif – mirip dengan grafik Rasio Konversi Seiring Waktu, kecuali sumbu Y tidak menunjukkan pengunjung kumulatif dan non kumulatif digunakan untuk API.
• Peningkatan Seiring Waktu : peningkatan rasio konversi menurut hari pada sumbu X dan garis setiap variasi (tetapi tidak asli).
• Pengunjung Harian dari Waktu ke Waktu

Produk

• Produk Per Pengunjung : rata-rata kumulatif produk yang dipesan per pengunjung – Sumbu Y menunjukkan rata-rata produk yang dipesan per pengunjung, sumbu X menunjukkan waktu. Setiap baris mewakili variasi (rata-rata kumulatif produk yang dipesan per pengunjung) + satu untuk produk yang dipesan rata-rata per pengunjung dari keseluruhan eksperimen (rata-rata dari semua variasi) + sumbu kedua Y di sebelah kanan yang menunjukkan jumlah kumulatif pengunjung di dalam keseluruhan eksperimen .
• Produk Harian Per Pengunjung : produk pesanan rata-rata non kumulatif per pengunjung
• Peningkatan dari waktu ke waktu : peningkatan produk dari hari ke hari pada sumbu X dan garis setiap variasi (tetapi tidak asli)
• Pengunjung Harian dari Waktu ke Waktu

Pendapatan

• Pendapatan dari Waktu ke Waktu : pendapatan rata-rata kumulatif per pengunjung – Sumbu Y menunjukkan pendapatan rata-rata per pengunjung, sumbu X menunjukkan waktu. Setiap baris mewakili satu variasi (pendapatan rata-rata per pengunjung) + satu untuk pendapatan rata-rata per pengunjung dari keseluruhan eksperimen (rata-rata semua variasi) + sumbu kedua Y di sebelah kanan yang mewakili jumlah kumulatif pengunjung di dalam keseluruhan eksperimen
• Pendapatan Harian Per Pengunjung : pendapatan rata-rata non kumulatif per pengunjung
• Peningkatan dari waktu ke waktu : peningkatan pendapatan menurut hari pada sumbu X dan garis setiap variasi (tetapi tidak asli)
• Pengunjung dari waktu ke waktu

Arahkan Mouse ke Grafik

Mengarahkan kursor ke grafik akan menampilkan rasio konversi setiap variasi pada hari itu dan rasio konversi variasi dibandingkan dengan aslinya:

Tampilan Standar Deviasi

Anda juga dapat mencentang kotak untuk menampilkan simpangan baku (juga disebut galat standar):

Rumus Statistik Mengkonversi Penggunaan

Catatan: Istilah statistik dibahas di blog yang berbeda , jadi kami tidak akan mengulanginya di sini. Tujuan kami di sini adalah untuk menyebutkan rumus matematika yang digunakan Convert.

Convert menggunakan uji Z dua arah yang sering dilakukan pada tingkat kepercayaan 0,05 (95%). Itu adalah 0,025 untuk setiap ekor menjadi distribusi simetris normal dengan opsi untuk mengubahnya antara 80% -99%.

Kami akan segera menambahkan statistik bayesian ke laporan Konversi. Tetap disini untuk informasi lebih lanjut.

Uji dua sisi harus digunakan ketika kita ingin menemukan perbedaan yang signifikan secara statistik ke segala arah (naik atau turun). Tujuannya di sini adalah untuk menentukan apakah variasi menyebabkan peningkatan atau penurunan konversi yang signifikan secara statistik.

Tingkat konversi

Rumus ini digunakan untuk menghitung Rasio Konversi untuk setiap variasi:

(Jumlah Total Konversi Sasaran / Jumlah Pengunjung Unik) * 100

Perubahan Tingkat Konversi untuk Variasi

Persentase perubahan rasio konversi antara variasi pengalaman dan versi asli dihitung seperti ini:

Interval Keyakinan

Metode statistik untuk menghitung interval kepercayaan di sekitar tingkat konversi digunakan untuk setiap variasi.

Kesalahan standar (untuk 1 standar deviasi) dihitung menggunakan metode Wald untuk distribusi binomial. Jadi, untuk rasio konversi tertentu ( p ) dan ukuran sampel (jumlah Pengunjung Unik), kesalahan standar dihitung sebagai:

Kesalahan standar dihitung menggunakan rumus ini, yang mengasumsikan bahwa distribusi binomial dapat didekati dengan distribusi normal (karena teorema limit pusat ). Distribusi sampel dapat diperkirakan dengan distribusi normal bila ada lebih dari 10 konversi pada sasaran tertentu.

Untuk menentukan interval kepercayaan untuk tingkat konversi, kalikan kesalahan standar dengan persentil ke-95 dari distribusi normal standar (nilai konstan sama dengan 1,65).

Dengan kata lain, Anda dapat yakin dengan keyakinan 90% bahwa rasio konversi Anda yang sebenarnya p berada dalam kisaran ini:

Skor-Z

Dengan menggunakan Z-Score, kita dapat menentukan apakah hasilnya signifikan (bahwa tingkat konversi tidak berbeda karena variasi acak):

Z-Skor adalah jumlah simpangan baku antara nilai rata-rata asli dan variasi. Dengan menggunakan distribusi normal standar, signifikansi 95% ditentukan saat jumlah peristiwa penayangan lebih besar dari 1000 dan salah satu kriteria berikut terpenuhi:

• Probabilitas (ZScore) > 95%
• Probabilitas (ZScore) < 5%

Peningkatan

Peluang untuk berbeda (ditampilkan pada laporan) diperoleh dari nilai Probabilitas (Z-Score) dimana:

• Jika
  
  Probabilitas (ZScore) <= 0,5
  
  kemudian
  Peningkatan = 1- Probabilitas (ZScore)
  

• Jika
  
  Probabilitas (ZScore) > 0,5
  
  kemudian
  Peningkatan = Probabilitas (ZScore)

Apa yang Harus Diperhatikan saat Menafsirkan Laporan Pengalaman

Sekarang setelah Anda memahami semua bagian laporan pengalaman Konversi dan rumus statistiknya, mari kita coba menafsirkan beberapa laporan pengalaman yang berbeda dan melihat apa yang dapat Anda peroleh darinya.

Apakah Data Pengalaman Penting?

Sebelum Anda mengevaluasi hasil dan membuat penilaian tentang apa yang harus dilakukan selanjutnya, pastikan data pengalaman signifikan. Dengan menggunakan "Tingkat Keyakinan" dalam laporan pengalaman Konversi, Anda dapat menentukan apakah temuan itu karena kebetulan atau cerminan sebenarnya dari perilaku pengguna Anda.

Tingkat signifikansi 95% berarti Anda 95% yakin bahwa kesimpulan yang diamati bukanlah hasil kebetulan. Ini juga menyiratkan bahwa ada kemungkinan 5% Anda salah.

Atau, Anda dapat menganggap tingkat kepercayaan sebagai kemungkinan mendapatkan hasil yang berbeda jika Anda mengulangi eksperimen.

Jika Anda mendapatkan peringkat kepercayaan 90%, ada kemungkinan 1 dari 10 bahwa Anda akan mendapatkan jawaban yang berbeda jika Anda mengulangi tes. Dengan keyakinan 95%, ada peluang 1 banding 20, sedangkan dengan keyakinan 99%, ada peluang 1 banding 100.

Variasi Kemenangan: Dampak Positif

Berikut adalah contoh variasi signifikan yang mengungguli yang asli dan menghasilkan peningkatan yang positif.

Untuk tujuan “Sesuaikan Langganan – Langkah 1 tampilan halaman”, Variasi 1 memiliki peluang 98,7% untuk mengalahkan Variasi 0 (Asli) dalam pengalaman ini. Plot kotak menunjukkan bahwa memilih Variasi 1 dapat menghasilkan peningkatan dari Aslinya sebesar 13,73% +- 0,6%

Dalam pengalaman ini, aman untuk mengatakan bahwa peningkatannya adalah +7,20%, tetapi ada peluang yang sama bahwa tingkat konversi berada di antara 13,73% +- 0,6%. Terlepas dari situasinya, Variasi 1 akan lebih baik dari yang Asli, jadi ini adalah indikasi kuat untuk menerapkannya!

Mengapa?

Jika pengalaman yang sama diulang 10.000 kali dalam kondisi yang sama, Variasi 1 masih akan menang 9.870 kali dari 10.000.

Variasi Kehilangan: Dampak Negatif

Mari kita lihat lebih dekat hasil pengalaman signifikan di mana Variasi 1 tidak menghasilkan peningkatan yang positif tetapi justru memiliki pengaruh negatif pada Tingkat Konversi Variasi 0 (Asli).

Dalam pengalaman ini, ada kemungkinan 98,87% bahwa Variasi 1 akan kalah pada Rasio Konversi atas Variasi 0. Dampak negatif pada Rasio Konversi Asli antara 4,5% +- 1% dapat diharapkan dengan Variasi 1.

Hasil Tidak Konklusif: Dampak Netral

Sekarang mari kita lihat pengalaman yang tidak signifikan. Dalam pengalaman di bawah, tidak ada variasi yang memiliki peluang menang yang cukup tinggi atau probabilitas lebih besar dari 95%.

Probabilitas Variasi 1 menang atas Variasi 0 hanya 84,58% dalam pengalaman ini.

Apa langkah selanjutnya yang dapat Anda ambil?

Ada beberapa pilihan untuk dipilih, yang semuanya bergantung pada hipotesis dan tujuan akhir dari pengalaman tersebut. Apa pun masalahnya, selalu ada beberapa opsi di atas meja:

• Perluas audiens Anda. Jika segmen pengunjung Anda terlalu terbatas, coba fokuskan pada segmen dengan audiens yang lebih besar.
• Hapus beberapa variasi. Jika Anda telah mengembangkan empat variasi, misalnya, coba jalankan pengalaman yang sama dengan dua atau tiga variasi.
• Biarkan berjalan untuk jangka waktu yang lebih lama.
• Ikuti naluri Anda dan pilih apa yang paling konsisten dengan merek Anda. Jika hasilnya serupa di dua variasi, dan kolega Anda setuju bahwa yang satu lebih sesuai dengan persyaratan merek Anda daripada yang lain, Anda dapat memilih salah satu sebagai pemenang.
• Luncurkan kembali pengalaman. Menjalankan tes yang sama dua kali untuk memvalidasi atau membatalkan hasil awal adalah praktik yang cerdas. Karena keadaannya tidak mungkin sama (periode waktu yang berbeda, fluktuasi lalu lintas, dll.), hasilnya mungkin berbeda!
• Biarkan saja. Ada kemungkinan bahwa asli Anda sudah dioptimalkan.

Apakah Ada Distribusi Lalu Lintas yang Merata?

Saat menyiapkan pengalaman A/B, Anda menetapkan persentase lalu lintas ke setiap variasi (secara default, 50/50).

Jumlah Pengunjung harus mewakili prediksi pembagian lalu lintas.

Dalam kasus perbedaan yang signifikan, hampir pasti ada sample ratio mismatch (SRM)

Dalam pembagian 50/50, jika Anda mendapatkan 400 pengunjung di satu sisi dan 600 di sisi lain, hasilnya tidak dapat diandalkan. Ketika ini terjadi, saatnya untuk melihat pengaturan pengalaman A/B Anda. Hasilnya dapat dimiringkan oleh outlier seperti alamat IP internal atau bot eksternal.

Ingat, data hanya sebaik analisis yang Anda lakukan dengannya. Manfaatkan semua alat yang Anda miliki, termasuk pelaporan mendalam Convert Experiences, untuk wawasan yang akurat dan dapat ditindaklanjuti.

Jika Anda belum memiliki akun, daftar untuk uji coba gratis dan coba selama 15 hari. Anda akan memiliki akses ke semua fitur keren yang kami bahas di posting ini, ditambah banyak lagi. Dan jika Anda memiliki pertanyaan atau butuh bantuan untuk memulai, tim kami siap membantu.