Cum să citiți și să interpretați cu acuratețe un raport de experiențe de conversie

Publicat: 2022-09-14
Cum să citiți și să interpretați cu acuratețe un raport de experiențe de conversie

Dacă sunteți utilizator Convert, atunci știți că rapoartele dvs. sunt pline de date valoroase. Dar ce reprezintă toate aceste numere și grafice? Și de unde știi ce concluzii poți trage din ele și folosești acele informații pentru a-ți îmbunătăți testarea?

Este la fel de simplu ca utilizarea unui calculator de semnificație statistică pentru a valida o experiență?

Calculator statistic A/B Test

Apelarea unui test A/B este o reușită dacă este suficient de verde pe un raport de experiment – ​​sau ar trebui să ne uităm și la alți factori?

Denumește un test A/B un succes dacă este suficient verde pe un raport de experiment

Deși calculatoarele de semnificație statistică sunt esențiale pentru testarea precisă, ele nu spun întreaga poveste. Pentru a profita la maximum de rapoartele dvs. Convert, trebuie să aveți o înțelegere solidă a statisticilor de testare A/B.

De ce, mă rog?

Deoarece testarea A/B este fundamental o metodă de analiză statistică. Nu poți avea una fără cealaltă.

Un test sau o experiență A/B este un exemplu de testare a ipotezelor statistice, în care o ipoteză despre relația dintre două seturi de date este dezvoltată și comparată pentru a vedea dacă se găsește semnificația statistică.

Deci, indiferent dacă sunteți un începător sau un utilizator experimentat, citiți mai departe pentru a înțelege întreaga gamă de statistici de testare disponibile în rapoartele dvs. și pentru a obține rezultate mai bune de la testele dvs. A/B!

Deci, ce poți face cu un raport de testare A/B? Să aruncăm o privire la două exemple practice.

Exemplul 1

O afacere de comerț electronic intenționează să optimizeze paginile de produse pentru a îmbunătăți ratele de conversie.

În această situație particulară,

rata de conversie a paginii de produs = numărul de comenzi / numărul de vizitatori ai paginii de produs

Echipa de marketing evaluează trei modele noi de pagini de produs. Vor să aleagă cea mai eficientă dintre cele patru posibilități: un design existent și trei noi. Cum pot folosi raportul Conversie experiențe și metodele sale statistice pentru a identifica cel mai performant, având în vedere că rata de conversie este un factor?

Exemplul 2

Schimbându-și pagina de prețuri, un site web SaaS speră să-și dezvolte baza de membri.

Pentru ei,

rata de conversie a paginii de prețuri = numărul de abonamente / numărul de vizitatori ai paginii de prețuri

Marketingul evaluează trei modele diferite pentru a vedea dacă oricare dintre ele poate atrage mai mulți abonați decât cel actual.

Folosind raportul Convert Experiences și metodele sale statistice, cum pot face o astfel de comparație folosind rata de conversie ca criteriu de selecție?

Acest articol va explica ce conține raportul Conversie experiențe, cum îl puteți utiliza pentru a vă îmbunătăți site-ul web și cum să interpretați analiza detaliată a experiențelor vizitatorilor, astfel încât să puteți lua măsuri.

Citiți mai departe pentru un ghid ușor de urmat, care vă va ajuta să înțelegeți statisticile din spatele rapoartelor de testare Convert A/B.

ascunde
  • O hartă detaliată a fiecărei secțiuni a unui raport de experiență Convert
    • ➢ Meniul de sus
      • Filtrați pentru un interval de date specific
      • Filtrați pentru un anumit segment
      • Distribuie raport
      • Vedeți codul
      • Setări statistici
      • Întrerupeți experiența
    • ➢ Rezumat
      • Activați Recomandări inteligente
      • Vedeți Recomandări inteligente
      • Captură de ecran de bază
      • Previzualizare live și linkuri de variație forțată
    • ➢ Variații
    • ➢ Obiective
      • Numele variației
      • Îmbunătăţire
      • Vizitatori
      • Conversii
      • Rata de conversie
      • Nivel de încredere (semnificație statistică)
      • Grafic cu casete (interval de încredere)
      • stare
      • Grafice
        • Conversii
        • Produse
        • Venituri
          • Treceți mouse-ul peste grafic
          • Afișează abaterea standard
  • Formulele statistice convertesc utilizări
    • Rata de conversie
    • Modificarea ratei de conversie pentru variații
    • Intervale de încredere
    • Scorul Z
    • Îmbunătăţire
  • Ce să căutați atunci când interpretați rapoartele de experiență
    • Datele despre experiență sunt semnificative?
      • Varianta câștigătoare: Impact pozitiv
      • Varianta pierdere: Impact negativ
      • Rezultate neconcludente: Impact neutru
    • Există o distribuție uniformă a traficului?

O hartă detaliată a fiecărei secțiuni a unui raport de experiență Convert

În calitate de utilizator Convert, aveți acces la informații detaliate despre performanța site-ului dvs. prin intermediul rapoartelor. Să aruncăm o privire cuprinzătoare asupra tuturor elementelor unui raport Convert, astfel încât să puteți înțelege exact ce informații sunt prezentate și cum să le utilizați cel mai bine pentru a îmbunătăți performanța site-ului dvs. web.

Puteți accesa rapoarte selectând experiența pe care doriți să o vizualizați și făcând clic pe fila Raport.

Puteți accesa rapoarte selectând experiența pe care doriți să o vizualizați și făcând clic pe fila Raport

În această secțiune, veți vedea patru secțiuni diferite:

  • Meniul de sus
  • rezumat
  • Variante
  • Goluri

➢ Meniul de sus

Meniul de sus oferă acces rapid la următoarele informații:

  • Data de începere: data la care a început experiența
  • Zile de rulare : perioada de timp pentru care se desfășoară experiența
  • Interval de raportare : un filtru de dată vă permite să filtrați datele pentru o anumită perioadă de timp
  • Segment : filtrați raportul în funcție de segmentele de vizitatori
  • Toți utilizatorii testați : numărul de utilizatori care au participat la test
  • Total conversii : numărul total de conversii ale obiectivelor. Conversia urmărește numai conversii cu un singur obiectiv pentru fiecare vizitator unic. Consultați această pagină pentru conversii cu mai multe obiective.
  • Obiective : numărul de obiective pe care le are o anumită experiență
Meniul de sus oferă acces rapid

Filtrați pentru un interval de date specific

Datele pot fi filtrate pentru un anumit interval de date utilizând Intervalul de raportare. Intervalele de date personalizate pot fi specificate fie folosind opțiunile existente, fie controlul calendarului.

Filtrați pentru un interval de date specific

Filtrați pentru un anumit segment

Puteți filtra raportul în funcție de segmentele de vizitatori, selectându-le din caseta drop-down „Toți utilizatorii”. Puteți folosi acest lucru pentru a răspunde la întrebări precum

  • Cum s-a comportat traficul din diferite surse în experiență?
  • Care a fost varianta câștigătoare pe dispozitive mobile versus desktop?
  • Care variantă a atras cei mai mulți utilizatori noi?

Ar trebui să vizați audiențe/segmente care contează pentru organizația dvs. și care ar putea prezenta o varietate de comportamente ale utilizatorilor și semnale de intenție.

Examinați scorurile de îmbunătățire și de încredere pentru fiecare public pentru a vedea cum a funcționat fiecare variație. În funcție de rezultatele analizei dvs., puteți decide dacă să lansați varianta câștigătoare pentru întregul trafic sau să vă ajustați alocarea.

Un raport de experiență Convert include următoarele segmente:

  • browser folosit,
  • dispozitiv folosit,
  • vizitatori noi vs vechi,
  • tara utilizator,
  • sursa de trafic,
  • continent, și
  • 10 segmente personalizate.

Iată cum puteți crea un segment personalizat (public).

Filtrați pentru un anumit segment

De asemenea, puteți utiliza meniul cu trei puncte și puteți aplica câteva acțiuni suplimentare:

De asemenea, puteți utiliza meniul cu trei puncte și puteți aplica câteva acțiuni suplimentare

Distribuie raport

Dacă faceți clic pe Partajați raport, se va deschide o fereastră pop-up cu următoarele opțiuni pentru descărcarea datelor despre experiență:

Făcând clic pe Partajare raport, se va deschide o fereastră pop-up cu următoarele opțiuni pentru descărcarea datelor despre experiență

Vedeți codul

Vizualizare cod este a doua opțiune, care vă oferă acces la codul de urmărire Convert:

Vizualizare cod este a doua opțiune, care vă oferă acces la codul de urmărire Convert

Setări statistici

A treia opțiune, Setări statistici, vă permite să configurați următoarele:

  • Nivel de încredere (semnificație statistică) — descris aici
  • Valori abere ale tranzacției — descriși aici
  • Automatizări - descrise aici
  • Butonul Resetare statistici pentru a reseta datele experienței
Setări statistici

Întrerupeți experiența

O a patra opțiune vă permite să întrerupeți experiența.

➢ Rezumat

În secțiunea Rezumat a raportului de experiență Convert, veți găsi un rezumat al zonei site-ului și al condițiilor de public care se aplică experienței dvs. De asemenea, oferă câteva recomandări inteligente:

În secțiunea Rezumat a raportului de experiență Convert, veți găsi un rezumat al zonei site-ului și al condițiilor de public

Activați Recomandări inteligente

Accesați Configurația proiectului, Mai multe setări, pentru a activa Recomandările inteligente:

Activați Recomandări inteligente

Vedeți Recomandări inteligente

Puteți vizualiza aceste recomandări inteligente în două locuri.

  1. În rezumatul raportului:
Vedeți recomandări inteligente În rezumatul raportului

Următoarele mesaje pot apărea pe baza rezultatelor dvs.:

  • Semnificativ și creștere negativă : observăm că varianta ${variant_name} este cea mai performantă, cu o creștere negativă de ${lift}%. Experimentul pentru obiectivul ${primary_goal_name} este semnificativ. Vă sugerăm să extrageți învățăminte și să proiectăm o nouă ipoteză.
  • Creștere semnificativă și pozitivă : Felicitări! Pentru ${primary_goal_name}, ${variant_name} câștigă în prezent cu o îmbunătățire de ${lift}%. Experimentul este semnificativ.”
  • Creștere nesemnificativă, pozitivă : sunt necesari mai mulți vizitatori pentru a trage o concluzie validă pentru ${primary_goal_name}. Vedem doar că ${variant_name} este cel mai performant, cu o creștere de ${lift}%, dar are nevoie de mai mulți vizitatori înainte de a se putea da o concluzie definitivă.
  • Creștere nesemnificativă, negativă : sunt necesari mai mulți vizitatori pentru a trage o concluzie validă pentru ${primary_goal_name}. Vă rugăm să continuați testul înainte de a putea trage o concluzie.
  1. În caseta extinsă Obiective:

Următoarele sunt câteva mesaje posibile pe care le puteți vedea pe baza rezultatelor dvs.:

Vedeți recomandări inteligente În caseta extinsă Obiective
  • Felicitări {variation.name} este un câștigător, suntem siguri că avem 00% încredere statistică.
  • Din păcate, {variation.name} a avut performanțe mai slabe decât {baselineText}, suntem siguri că avem o încredere statistică de 00%.
  • {variation.name} pare să aibă performanțe mai bune decât {baselineText}, dar încă nu putem fi siguri
  • Este prea devreme pentru a judeca pentru {variation.name}

Captură de ecran de bază

Dacă treceți cu mouse-ul peste captura de ecran de referință, veți vedea câteva opțiuni suplimentare:

  • Vizualizați un instantaneu la dimensiune reală
  • Previzualizare variație
  • Refaceți instantaneul variației
Dacă treceți cu mouse-ul peste captura de ecran de bază, veți vedea câteva opțiuni suplimentare

Previzualizare live și linkuri de variație forțată

Variația de previzualizare va deschide o fereastră pop-up de unde puteți obține adresele URL de previzualizare live și Variație de forță.

Previzualizare live și linkuri de variație forțată

➢ Variații

O secțiune numită Variații oferă detalii despre variațiile experienței tale. Fiecare coloană după coloana Stare reprezintă obiectivele dvs. de experiență:

O secțiune numită Variații oferă detalii despre variațiile experienței tale

Puteți activa/dezactiva coloanele sau le puteți rearanja făcând clic pe meniul cu trei puncte:

Puteți activa/dezactiva coloanele sau le puteți rearanja făcând clic pe meniul cu trei puncte

Cu butonul de stare activat, veți putea întrerupe variațiile:

Cu butonul de stare activat, veți putea întrerupe variațiile

Există câteva opțiuni suplimentare disponibile când faceți clic pe meniul cu trei puncte de pe unul dintre rândurile de variante:

  • Deschideți adresa URL a variației forțate
  • Opriți variația
  • Convertiți într-o nouă implementare
  • Convertiți într-un original într-un nou experiment
  • Editați variația
  • Previzualizare live
Există câteva opțiuni suplimentare disponibile când faceți clic pe meniul cu trei puncte de pe unul dintre rândurile de variante

➢ Obiective

O scurtă descriere a fiecăruia dintre obiectivele experienței poate fi găsită în această secțiune, precum și câteva statistici și grafice interesante pe care le vom analiza în secțiunea următoare. Înainte de a continua, să explicăm câțiva termeni cu care poate nu sunteți familiarizat.

  • Obiectiv implicit : dacă vedeți termenul Obiectiv implicit lângă unul dintre obiectivele dvs., înseamnă că este unul dintre cele 2 obiective implicite pe care le adăugăm la fiecare experiență.
  • Scopul principal : poate exista un singur obiectiv principal, care trebuie decis de tine. Este cel mai important obiectiv pentru experiența ta. Acesta va fi afișat mai întâi pe lista de obiective și starea experienței va fi schimbată în funcție de aceasta.
  • SRM : nepotrivire potențială a raportului de eșantionare detectată la testul dvs. Verificați configurarea experienței sau contactați [email protected] dacă observați acest lucru.
  • Linia de referință : aceasta este valoarea de bază implicită a experienței.
O scurtă descriere a fiecăruia dintre obiectivele experienței poate fi găsită în această secțiune, precum și câteva statistici și grafice interesante

Acum, să trecem prin fiecare dintre elementele acestui raport.

Numele variației

Acesta este numele variației tale. Există o casetă de selectare lângă ea pe care o puteți activa/dezactiva pentru a afișa și a ascunde statisticile variației.

Îmbunătăţire

Puteți vedea aici cum performanțe originale și variația paginii dvs. web în ceea ce privește ratele de conversie. Diferența procentuală poate fi pozitivă sau negativă. Când încrederea calculată este mai mare decât încrederea stabilită în setările de statistici, culoarea se schimbă astfel:

  • Roșu pentru -
  • Verde pentru +
  • Gri pentru altele
Îmbunătățirea verde
Îmbunătățirea verde
Îmbunătățire roșie
Îmbunătățire roșie

Vizitatori

Acesta este numărul total de vizitatori ai experienței. Vizitatorii unici sunt enumerați aici.

Conversii

Acesta reprezintă numărul total de conversii pentru fiecare obiectiv/variație. Orice acțiune dorită pe care doriți să o întreprindă utilizatorul este denumită conversie. În funcție de site-ul dvs. web, acest lucru poate include totul, de la clic pe un buton până la efectuarea unei achiziții.

Rata de conversie

Această coloană arată procentul de vizitatori care s-au transformat în conversii.

Nivel de încredere (semnificație statistică)

Când interpretați rezultatele A/B, semnificația statistică este cel mai important concept.

Această coloană indică cât de diferit este intervalul de încredere pentru rata de conversie pentru variația experimentului față de original. Dacă încrederea nu arată niciun număr, acest lucru se datorează faptului că (în mod implicit) sunt necesare minimum 5 conversii de obiectiv pentru fiecare variație pentru a o calcula. De asemenea, trebuie să îndeplinească numărul minim de vizitatori stabilit pentru fiecare variantă. Dacă modificați numărul minim de conversii, ar trebui să fie îndeplinit minimul pe care l-ați selectat.

Această coloană conține puncte gri/verzi care indică:

  • 1 punct verde pentru 75%-85% încredere
  • 2 puncte verzi pentru 85%-95% încredere
  • 3 puncte verzi pentru 95%-96% încredere
  • 4 puncte verzi pentru 96%-97% încredere
  • 5 puncte verzi pentru 97% și mai sus
2 puncte verzi pentru semnificația statistică
2 puncte verzi pentru semnificația statistică
Setul minim de vizitatori și conversii pentru a calcula semnificația statistică
Setul minim de vizitatori și conversii pentru a calcula semnificația statistică

Grafic cu casete (interval de încredere)

Diagrama de casete sau intervalul de încredere indică o gamă de valori în care rata de conversie reală scade.

Este o idee bună să arătați diferența observată în valoarea ratei de conversie pentru paginile originale și variante atunci când discutați despre rezultate și intervalul în care se pot încadra efectiv ratele de conversie. Intervalul de diferență este un interval posibil de valori care sunt reprezentate pe o scară a liniilor numerice.

Cel mai mare interval posibil al ratei de conversie este marcat de limita superioară pe scara numerică, iar cel mai mic interval posibil al ratei de conversie este marcat de limita inferioară pe scara numerică.

Pe scară, puteți vedea următoarele culori:

  • Zona gri: indică faptul că experimentul este încă neconcludent sau că sunt necesare persoane suplimentare pentru a declara un rezultat valid.
  • O variantă câștigătoare este indicată de culoarea verde .
  • O variație care pierde este indicată de culoarea roșie .
Cutie verde
Cutie verde
Intreg cutie roșie
Intreg cutie roșie

În diagrama cu casetă, fiți atenți la suprapunerea între ratele de conversie Original și Variation.

Să presupunem că ratele de conversie pentru Original au un interval de încredere de 10-20% și că ratele de conversie pentru Varianta 1 au un interval de încredere de 15-25%. Este de remarcat faptul că suprapunerea dintre cele două intervale de încredere este de 5% și este undeva între 15-20%. În acest context, este imposibil de spus dacă variația în B este de fapt o îmbunătățire majoră. Acesta este motivul pentru care, dacă există o suprapunere a box plots, Convert nu va declara un câștigător.

stare

Acesta vă arată un raport de stare asupra variației.

Grafice

De aici, puteți accesa trei tipuri diferite de grafice.

Mai jos este o explicație pentru fiecare:

Grup de grafice
Grup de grafice
Conversii
Conversii
Conversii
  • Rata de conversie în timp : axa Y arată rata de conversie, axa X arată timpul. Fiecare linie reprezintă o variație (rata de conversie cumulată) + una pentru rata de conversie a întregului experiment (media tuturor variațiilor) + o a doua axă Y din dreapta care reprezintă numărul cumulat de vizitatori din cadrul întregului experiment
  • Conversii în timp : axa Y arată conversiile, axa X arată timpul. Fiecare linie reprezintă o variație (conversii) + una pentru conversiile întregului experiment (conversiile medii ale tuturor variațiilor) + o a doua axă Y din dreapta care reprezintă numărul cumulat de conversii din cadrul întregului experiment.
  • Rata de conversie zilnică de-a lungul timpului : rata de conversie necumulativă – similară cu graficul Rata de conversie de-a lungul timpului, cu excepția faptului că axa Y nu afișează vizitatorii cumulați, iar cea necumulativă este utilizată pentru API.
  • Îmbunătățire în timp : îmbunătățirea ratei de conversie pe zi pe axa X și liniile fiecărei variații (dar nu original).
  • Vizitatori zilnici de-a lungul timpului
Produse
Produse
  • Produse per vizitator : produse comandate medii cumulate per vizitator – axa Y arată media produselor comandate per vizitator, axa X arată timpul. Fiecare linie reprezintă o variație (media cumulativă a produselor comandate per vizitator) + una pentru produsele comandate medii per vizitator al întregului experiment (media tuturor variațiilor) + o a doua axă Y din dreapta care reprezintă numărul cumulat de vizitatori din cadrul întregului experiment .
  • Produse zilnice per vizitator : produse comandate medii necumulative per vizitator
  • Îmbunătățirea în timp : îmbunătățirea produselor pe zi pe axa X și liniile fiecărei variații (dar nu originale)
  • Vizitatori zilnici de-a lungul timpului
Venituri
Venituri
  • Venituri în timp : venitul mediu cumulat per vizitator – axa Y arată venitul mediu per vizitator, axa X arată timpul. Fiecare linie reprezintă o variație (venitul mediu per vizitator) + una pentru venitul mediu per vizitator al întregului experiment (media tuturor variațiilor) + o a doua axă Y din dreapta, care reprezintă numărul cumulat de vizitatori din cadrul întregului experiment
  • Venitul zilnic per vizitator : venit mediu necumulat per vizitator
  • Îmbunătățire în timp : îmbunătățirea veniturilor pe zi pe axa X și liniile fiecărei variații (dar nu inițiale)
  • Vizitatori de-a lungul timpului
Treceți mouse-ul peste grafic

Trecând cu mouse-ul peste grafic, se va afișa rata de conversie a fiecărei variații în ziua respectivă și rata de conversie a variației în comparație cu cea inițială:

Treceți mouse-ul peste grafic
Afișează abaterea standard

De asemenea, puteți bifa caseta pentru a afișa abaterea standard (numită și eroare standard):

Afișează abaterea standard

Formulele statistice convertesc utilizări

Notă: termenii statistici sunt tratați într-un alt blog , așa că nu îi vom repeta aici. Scopul nostru aici este să menționăm formulele matematice utilizate de Convert.

Convert folosește un test Z frecventist cu două cozi la un nivel de încredere de .05 (95%). Adică .025 pentru fiecare coadă fiind o distribuție simetrică normală, cu opțiunea de a schimba aceasta între 80%-99%.

În curând vom adăuga statistici bayesiene la rapoartele Convert. Rămâneți pe fază pentru mai multe informații.

Testul Z
Sursă

Un test cu două cozi ar trebui folosit atunci când dorim să găsim o diferență semnificativă statistic în orice direcție (ridicare sau scădere). Scopul aici este de a determina dacă variația a dus la o creștere sau o scădere semnificativă statistic a conversiilor.

Rata de conversie

Această formulă este utilizată pentru a calcula rata de conversie pentru fiecare variație:

(Numărul total de conversii ale obiectivelor/Numărul de vizitatori unici) * 100

Această formulă este utilizată pentru a calcula rata de conversie pentru fiecare variație

Modificarea ratei de conversie pentru variații

Modificarea procentuală a ratei de conversie între variația experienței și cea originală se calculează astfel:

Modificarea ratei de conversie pentru variații

Intervale de încredere

Pentru fiecare variație este utilizată o metodă statistică pentru calcularea unui interval de încredere în jurul ratei de conversie.

Eroarea standard (pentru 1 abatere standard) este calculată folosind metoda Wald pentru o distribuție binomială. Astfel, pentru o anumită rată de conversie ( p ) și dimensiunea eșantionului (număr de vizitatori unici), eroarea standard este calculată ca

Intervale de încredere

Eroarea standard este calculată folosind această formulă, care presupune că distribuția binomială poate fi aproximată cu o distribuție normală (din cauza teoremei limitei centrale ). Distribuția eșantionului poate fi aproximată cu o distribuție normală atunci când există mai mult de 10 conversii pentru obiectivul specific.

Pentru a determina intervalul de încredere pentru rata de conversie, înmulțiți eroarea standard cu percentila 95 a unei distribuții normale standard (o valoare constantă egală cu 1,65).

Cu alte cuvinte, poți fi sigur cu 90% de încredere că rata ta de conversie reală p se află în acest interval:

Pentru o încredere de 95%, utilizați p ± (1,96 * SE), în timp ce pentru o încredere de 99% utilizați p ±
Notă: Pentru o încredere de 95%, utilizați p ± (1,96 * SE), în timp ce pentru o încredere de 99% utilizați p ± (2,575 * SE).

Scorul Z

Folosind un scor Z, putem determina dacă rezultatele sunt semnificative (că ratele de conversie nu diferă din cauza variației aleatorii):

Scorul Z

Scorul Z este numărul de abateri standard dintre valoarea medie inițială și valoarea medie a variației. Folosind o distribuție normală standard, semnificația de 95% este determinată atunci când numărul de evenimente de vizualizare este mai mare de 1000 și este îndeplinit unul dintre următoarele criterii:

  • Probabilitate (ZScore) > 95%
  • Probabilitate (ZScore) < 5%

Îmbunătăţire

Șansa de a fi diferit (afișată în raport) este derivată din valoarea Probabilității (Z-Score) unde:

  • Dacă

    Probabilitate(ZScore) <= 0,5

    apoi
    Îmbunătățire = 1- Probabilitate (ZScore)
  • Dacă

    Probabilitate (ZScore) > 0,5

    apoi
    Îmbunătățire = Probabilitate (ZScore)

Ce să căutați atunci când interpretați rapoartele de experiență

Acum că sunteți familiarizat cu toate secțiunile Raportului de experiență Conversie și cu formulele sale statistice, să încercăm să interpretăm câteva rapoarte de experiență diferite și să vedem ce puteți obține din acestea.

Datele despre experiență sunt semnificative?

Înainte de a evalua rezultatele și de a evalua ce trebuie să faceți în continuare, asigurați-vă că datele despre experiență sunt semnificative. Folosind „Nivelul de încredere” din raportul de experiență Conversie, puteți determina dacă constatările se datorează întâmplării sau reflectă adevărată a comportamentului utilizatorilor dvs.

Un nivel de semnificație de 95% înseamnă că sunteți 95% sigur că concluziile observate nu sunt rezultatul întâmplării. De asemenea, implică faptul că există o șansă de 5% să greșești.

Alternativ, vă puteți gândi la nivelul de încredere ca la probabilitatea de a obține rezultate diferite dacă repetați experimentul.

Dacă obții un rating de încredere de 90%, există o posibilitate de 1 din 10 ca să obții răspunsuri diferite dacă repeți testul. Cu 95% de încredere, există o șansă de 1 din 20, în timp ce cu 99% de încredere, există o șansă de 1 din 100.

Folosind „Nivelul de încredere” din raportul de experiență Conversie, puteți determina dacă constatările se datorează întâmplării sau reflectă adevărată a comportamentului utilizatorilor dvs.

Varianta câștigătoare: Impact pozitiv

Iată un exemplu de variație semnificativă care a depășit performanța originală și a dus la o îmbunătățire pozitivă.

Iată un exemplu de variație semnificativă care a depășit performanța originală și a dus la o îmbunătățire pozitivă

Pentru obiectivul „Personalizați abonamentul – Vizualizarea paginii pasului 1”, Varianta 1 are o șansă de 98,7% să învingă Varianta 0 (Original) în această experiență. Graficul cu casete arată că selectarea Variației 1 poate duce la o îmbunătățire față de Original de 13,73% +- 0,6%

Graficul cu casete arată că selectarea Variației 1 poate duce la o îmbunătățire față de Original de 13,73% +- 0,6%

În această experiență, este sigur să spunem că îmbunătățirea este de +7,20%, dar există șanse egale ca rata de conversie să fie între 13,73% +- 0,6%. Indiferent de situație, Varianta 1 s-ar îmbunătăți față de Original, așa că acesta este un indiciu puternic pentru a o implementa!

De ce?

Dacă aceeași experiență s-ar repeta de 10.000 de ori în condiții identice, Varianta 1 ar câștiga tot de 9.870 de ori din 10.000.

Varianta pierdere: Impact negativ

Să aruncăm o privire mai atentă la rezultatele unei experiențe semnificative în care Varianta 1 nu are ca rezultat o îmbunătățire pozitivă, ci are o influență negativă asupra Ratei de Conversie Varianta 0 (Original).

Varianta pierdere: Impact negativ

În această experiență, există o șansă de 98,87% ca Varianta 1 să piardă în rata de conversie față de Variația 0. Se poate aștepta un impact negativ asupra ratei de conversie a originalului între 4,5% +- 1% cu Variația 1.

Se poate aștepta un impact negativ asupra ratei de conversie a originalului între 4,5% +- 1% cu Variația 1

Rezultate neconcludente: Impact neutru

Acum să ne uităm la o experiență care nu este semnificativă. În experiența de mai jos, niciuna dintre variante nu are șanse suficient de mari de câștig sau o probabilitate mai mare de 95%.

Rezultate neconcludente: Impact neutru

Probabilitatea ca Variația 1 să câștige asupra Variației 0 este de doar 84,58% în această experiență.

Care este următorul pas pe care îl poți face?

Există mai multe opțiuni din care să alegeți, toate depind de ipoteză și de scopul final al experienței. Oricare ar fi cazul, există întotdeauna câteva opțiuni pe masă:

  • Extindeți-vă audiența. Dacă segmentul dvs. de vizitatori este prea limitat, încercați să vă concentrați pe un segment cu un public mai mare.
  • Eliminați unele variații. Dacă ați dezvoltat patru variante, de exemplu, încercați să rulați aceeași experiență cu două sau trei variante.
  • Lăsați-l să funcționeze pentru o perioadă mai lungă de timp.
  • Urmăriți-vă instinctul și alegeți ceea ce este cel mai în concordanță cu marca dvs. Dacă rezultatele sunt similare în două variante și colegii dvs. sunt de acord că una este mai bine aliniată cu cerințele mărcii dvs. decât cealaltă, puteți alege să alegeți una ca câștigătoare.
  • Relansează experiența. Executarea aceluiași test de două ori pentru a valida sau invalida rezultatele inițiale este o practică inteligentă. Deoarece este puțin probabil ca circumstanțele să fie aceleași (perioadă de timp diferită, fluctuații de trafic etc.), rezultatele pot fi diferite!
  • Lasă-i să fie. Este posibil ca originalul dvs. să fie deja optimizat.

Există o distribuție uniformă a traficului?

Când configurați o experiență A/B, atribuiți un procent de trafic fiecărei variante (în mod implicit, 50/50).

Când configurați o experiență A/B, atribuiți un procent de trafic fiecărei variante (în mod implicit, 50/50)

Numărul de vizitatori ar trebui să reprezinte împărțirea estimată a traficului.

În cazul unei diferențe semnificative, există aproape sigur o nepotrivire a raportului de eșantionare (SRM)

În cazul unei diferențe semnificative, există aproape sigur o nepotrivire a raportului de eșantionare (SRM)

Într-o împărțire 50/50, dacă obțineți 400 de vizitatori pe o parte și 600 pe cealaltă, rezultatele nu sunt de încredere. Când se întâmplă acest lucru, este timpul să vă uitați la configurarea experienței dvs. A/B. Rezultatele ar putea fi denaturate de valori aberante, cum ar fi adresele IP interne sau roboții externi.

Amintiți-vă, datele sunt la fel de bune ca și analiza pe care o faceți cu ele. Profitați de toate instrumentele pe care le aveți la dispoziție, inclusiv de raportarea amănunțită a lui Convert Experiences, pentru informații precise și acționabile.

Dacă nu aveți deja un cont, înscrieți-vă pentru o perioadă de încercare gratuită și încercați-l timp de 15 zile. Veți avea acces la toate caracteristicile interesante pe care le-am discutat în această postare, plus multe altele. Și dacă aveți întrebări sau aveți nevoie de ajutor pentru a începe, echipa noastră este aici pentru a vă ajuta.