So lesen und interpretieren Sie einen Konvertierungsbericht richtig

Wenn Sie ein Convert-Benutzer sind, wissen Sie, dass Ihre Berichte voller wertvoller Daten sind. Aber was bedeuten all diese Zahlen und Grafiken? Und woher wissen Sie, welche Schlussfolgerungen Sie daraus ziehen können, und verwenden diese Informationen, um Ihre Tests zu verbessern?

Ist es so einfach wie die Verwendung eines statistischen Signifikanzrechners, um eine Erfahrung zu validieren?

Ist das Aufrufen eines A/B-Tests ein Erfolg, wenn er in einem Testbericht grün genug angezeigt wird – oder sollten wir uns auch andere Faktoren ansehen?

Obwohl statistische Signifikanzrechner für genaue Tests unerlässlich sind, erzählen sie nicht die ganze Geschichte. Um das Beste aus Ihren Convert-Berichten herauszuholen, müssen Sie über ein solides Verständnis der A/B-Teststatistiken verfügen.

Und warum ist das?

Denn A/B-Testing ist im Grunde eine statistische Analysemethode. Du kannst das eine nicht ohne das andere haben.

Ein A/B-Test oder Erfahrung ist ein Beispiel für statistische Hypothesentests, bei denen eine Hypothese über die Beziehung zwischen zwei Datensätzen entwickelt und verglichen wird, um zu sehen, ob statistische Signifikanz gefunden wird.

Egal, ob Sie ein Neuling oder ein erfahrener Benutzer sind, lesen Sie weiter, um die gesamte Bandbreite der in Ihren Berichten verfügbaren Teststatistiken zu verstehen und bessere Ergebnisse aus Ihren A/B-Tests zu erzielen!

Was können Sie also mit einem A/B-Testbericht machen? Schauen wir uns zwei praktische Beispiele an.

Beispiel 1

Ein E-Commerce-Unternehmen plant, die Produktseiten zu optimieren, um die Konversionsraten zu verbessern.

In dieser besonderen Situation

die Konversionsrate der Produktseite = die Anzahl der Bestellungen / die Anzahl der Besucher der Produktseite

Das Marketingteam wertet drei neue Produktseitendesigns aus. Sie wollen aus vier Möglichkeiten die effektivste auswählen: ein bestehendes Design und drei neue. Wie können sie den Bericht „Erfahrungen konvertieren“ und seine statistischen Methoden verwenden, um die beste Leistung zu erkennen, da die Conversion-Rate ein Faktor ist?

Beispiel 2

Durch die Änderung ihrer Preisseite hofft eine SaaS-Website, ihre Mitgliederbasis zu vergrößern.

Für Sie,

die Konversionsrate der Preisseite = die Anzahl der Abonnements / die Anzahl der Besucher der Preisseite

Das Marketing wertet drei verschiedene Designs aus, um zu sehen, ob eines davon mehr Abonnenten anziehen kann als das aktuelle.

Wie können sie mithilfe des Berichts „Erfahrungen konvertieren“ und seiner statistischen Methoden einen solchen Vergleich mit der Conversion-Rate als Auswahlkriterium anstellen?

In diesem Artikel wird erläutert, was der Bericht "Erfahrungen konvertieren" enthält, wie Sie ihn zur Verbesserung Ihrer Website verwenden und wie Sie die detaillierte Analyse der Erfahrungen Ihrer Besucher interpretieren, damit Sie Maßnahmen ergreifen können.

Lesen Sie weiter für eine leicht verständliche Anleitung, die Ihnen hilft, die Statistiken hinter den Convert A/B-Testberichten zu verstehen.

Eine detaillierte Karte jedes Abschnitts eines Convert-Erfahrungsberichts

Als Convert-Benutzer haben Sie über Berichte Zugriff auf detaillierte Informationen über die Leistung Ihrer Website. Lassen Sie uns einen umfassenden Blick auf alle Elemente eines Convert-Berichts werfen, damit Sie genau verstehen, welche Informationen präsentiert werden und wie Sie sie am besten verwenden können, um die Leistung Ihrer Website zu verbessern.

Sie können auf Berichte zugreifen, indem Sie das Erlebnis auswählen, das Sie anzeigen möchten, und auf die Registerkarte Bericht klicken.

In diesem Abschnitt sehen Sie vier verschiedene Abschnitte:

• Hauptmenü
• Zusammenfassung
• Variationen
• Ziele

➢ Hauptmenü

Das obere Menü bietet schnellen Zugriff auf die folgenden Informationen:

• Startdatum: Das Datum , an dem das Erlebnis begonnen hat
• Days Running : Dauer, für die das Erlebnis läuft
• Berichtsbereich : Mit einem Datumsfilter können Sie Daten für einen bestimmten Zeitraum filtern
• Segment : Filtern Sie den Bericht nach Besuchersegmenten
• Alle getesteten Benutzer : Die Anzahl der Benutzer, die am Test teilgenommen haben
• Total Conversions : Gesamtzahl der Ziel-Conversions. Convert verfolgt nur Einzelziel-Conversions pro eindeutigem Besucher. Sehen Sie sich diese Seite für Conversions mit mehreren Zielen an.
• Ziele : Die Anzahl der Ziele, die eine bestimmte Erfahrung hat

Filtern Sie nach einem bestimmten Datumsbereich

Daten können mithilfe des Berichtsbereichs für einen bestimmten Datumsbereich gefiltert werden. Benutzerdefinierte Datumsbereiche können entweder mithilfe der vorhandenen Auswahlmöglichkeiten oder des Kalendersteuerelements angegeben werden.

Filtern Sie nach einem bestimmten Segment

Sie können den Bericht nach Besuchersegmenten filtern, indem Sie diese aus dem Dropdown-Feld „Alle Benutzer“ auswählen. Damit können Sie Fragen beantworten wie z

• Wie hat sich der Verkehr aus verschiedenen Quellen in der Erfahrung verhalten?
• Was war die beste Variante für Mobilgeräte im Vergleich zu Desktops?
• Welche Variante hat die meisten neuen Nutzer angezogen?

Sie sollten auf Zielgruppen/Segmente abzielen, die für Ihr Unternehmen wichtig sind und die wahrscheinlich eine Vielzahl von Benutzerverhalten und Absichtssignalen aufweisen.

Untersuchen Sie die Verbesserungs- und Konfidenzwerte für jede Zielgruppe, um zu sehen, wie jede Variation abgeschnitten hat. Abhängig von den Ergebnissen Ihrer Analyse können Sie entscheiden, ob Sie die Gewinnervariante für Ihren gesamten Traffic starten oder Ihre Zuteilung anpassen.

Ein Convert-Erfahrungsbericht enthält die folgenden Segmente:

• verwendeter Browser,
• gebrauchtes Gerät,
• neue vs alte Besucher,
• Benutzerland,
• Verkehrsquelle,
• Kontinent und
• 10 benutzerdefinierte Segmente.

Sie können auch das Dreipunktmenü verwenden und einige weitere Aktionen anwenden:

Bericht teilen

Wenn Sie auf Bericht teilen klicken, wird ein Popup mit den folgenden Optionen zum Herunterladen der Erfahrungsdaten geöffnet:

Code anzeigen

View Code ist die zweite Option, die Ihnen Zugriff auf Ihren Convert-Tracking-Code gibt:

Statistikeinstellungen

Mit der dritten Option Statistikeinstellungen können Sie Folgendes konfigurieren:

• Konfidenzniveau (statistische Signifikanz) – hier beschrieben
• Transaktionsausreißer – hier beschrieben
• Automatisierungen – hier beschrieben
• Die Schaltfläche Statistiken zurücksetzen, um die Erfahrungsdaten zurückzusetzen

Erfahrung pausieren

Eine vierte Option ermöglicht es Ihnen, das Erlebnis anzuhalten.

➢ Zusammenfassung

Im Abschnitt „Zusammenfassung“ Ihres Convert-Erfahrungsberichts finden Sie eine Zusammenfassung der Websitebereichs- und Zielgruppenbedingungen, die für Ihre Erfahrung gelten. Es bietet auch einige intelligente Empfehlungen:

Intelligente Empfehlungen aktivieren

Gehen Sie zu Ihrer Projektkonfiguration, Weitere Einstellungen, um Smart Recommendations zu aktivieren:

Smarte Empfehlungen anzeigen

Sie können diese intelligenten Empfehlungen an zwei Stellen anzeigen.

1. In der Berichtszusammenfassung:

Die folgenden Meldungen können basierend auf Ihren Ergebnissen angezeigt werden:

• Erheblich & negative Steigerung : Wir beobachten, dass die Variante ${variant_name} mit einer negativen Steigerung von ${lift} % am besten abschneidet. Der Test für das Ziel ${primary_goal_name} ist signifikant. Wir schlagen vor, Erkenntnisse zu extrahieren und eine neue Hypothese zu entwerfen.
• Signifikanter und positiver Anstieg : Herzlichen Glückwunsch! Bei ${primary_goal_name} gewinnt derzeit ${variant_name} mit einer Verbesserung von ${lift} %. Das Experiment ist bedeutsam.“
• Unbedeutender, positiver Anstieg : Es sind mehr Besucher erforderlich, um eine gültige Schlussfolgerung für ${primary_goal_name} zu ziehen. Wir sehen nur, dass ${variant_name} mit einer Steigerung von ${lift} % am besten abschneidet, aber mehr Besucher benötigt, bevor eine endgültige Schlussfolgerung gezogen werden kann.
• Unbedeutender, negativer Anstieg : Es sind mehr Besucher erforderlich, um eine gültige Schlussfolgerung für ${primary_goal_name} zu ziehen. Bitte lassen Sie den Test laufen, bevor Sie eine Schlussfolgerung ziehen können.

2. Im erweiterten Feld „Ziele“:

Im Folgenden sind einige mögliche Meldungen aufgeführt, die Sie basierend auf Ihren Ergebnissen sehen können:

• Herzlichen Glückwunsch {variation.name} ist ein Gewinner, da sind wir uns mit 00 % statistischer Sicherheit sicher.
• Leider schnitt {variation.name} schlechter ab als {baselineText}, da sind wir uns mit 00 % statistischer Sicherheit sicher.
• {variation.name} scheint besser abzuschneiden als {baselineText}, aber wir können uns noch nicht sicher sein
• Es ist zu früh, um über {variation.name} zu urteilen

Baseline-Screenshot

Wenn Sie den Mauszeiger über den Baseline-Screenshot bewegen, sehen Sie einige zusätzliche Optionen:

• Sehen Sie sich einen Schnappschuss in Originalgröße an
• Vorschau-Variation
• Variations-Snapshot erneut aufnehmen

Links zu Live-Vorschau und Variation erzwingen

Die Vorschau-Variation öffnet ein Popup, in dem Sie die Live-Vorschau- und Force-Variation-URLs abrufen können.

➢ Variationen

Ein Abschnitt namens Variationen enthält Details zu Ihren Erfahrungsvariationen. Jede Spalte nach der Statusspalte stellt Ihre Erfahrungsziele dar:

Sie können Spalten aktivieren/deaktivieren oder sie neu anordnen, indem Sie auf das Dreipunktmenü klicken:

Wenn die Statusschaltfläche aktiviert ist, können Sie Variationen pausieren:

Es sind einige zusätzliche Optionen verfügbar, wenn Sie auf das Dreipunktmenü in einer der Variationszeilen klicken:

• Erzwungene Variations-URL öffnen
• Abwechslung stoppen
• In ein neues Deployment konvertieren
• In einem neuen Experiment in ein Original umwandeln
• Variante bearbeiten
• Live Vorschau

➢ Ziele

In diesem Abschnitt finden Sie eine kurze Beschreibung der einzelnen Erfahrungsziele sowie einige interessante Statistiken und Grafiken, die wir im nächsten Abschnitt analysieren werden. Bevor wir fortfahren, lassen Sie uns einige Begriffe erklären, mit denen Sie möglicherweise nicht vertraut sind.

• Standardziel : Wenn Sie den Begriff Standardziel neben einem Ihrer Ziele sehen, bedeutet dies, dass es sich um eines der 2 Standardziele handelt, die wir jedem Erlebnis hinzufügen.
• Hauptziel : Es kann nur ein Hauptziel geben, das von Ihnen festgelegt werden muss. Es ist das wichtigste Ziel für Ihre Erfahrung. Dies wird zuerst in der Zielliste angezeigt und der Erfahrungsstatus wird basierend darauf geändert.
• SRM : Bei Ihrem Test wurde ein potenzieller Abtastverhältnis-Mismatch festgestellt. Überprüfen Sie die Erfahrungseinrichtung oder wenden Sie sich an [email protected], wenn Sie dies bemerken.
• Baseline : Dies ist Ihre standardmäßige Erfahrungsbaseline.

Lassen Sie uns nun die einzelnen Elemente in diesem Bericht durchgehen.

Variationsname

Dies ist der Name Ihrer Variante. Daneben befindet sich ein Kontrollkästchen, das Sie aktivieren/deaktivieren können, um die Variationsstatistiken anzuzeigen und auszublenden.

Verbesserung

Hier können Sie sehen, wie das Original und die Variante Ihrer Webseite in Bezug auf die Conversion-Raten abschneiden. Die prozentuale Differenz kann positiv oder negativ sein. Wenn das berechnete Vertrauen größer ist als das in den Statistikeinstellungen festgelegte Vertrauen, ändert sich die Farbe wie folgt:

• Rot für –
• Grün für +
• Grau für andere

Besucher

Dies ist die Gesamtzahl der Besucher des Erlebnisses. Eindeutige Besucher werden hier aufgelistet.

Konvertierungen

Dies stellt die Gesamtzahl der Conversions für jedes Ziel/jede Variante dar. Jede gewünschte Aktion, die der Benutzer ausführen soll, wird als Conversion bezeichnet. Abhängig von Ihrer Website kann dies alles umfassen, vom Klicken auf eine Schaltfläche bis zum Tätigen eines Kaufs.

Wechselkurs

Diese Spalte zeigt den Prozentsatz der Besucher, die zu Conversions geführt haben.

Konfidenzniveau (Statistische Signifikanz)

Bei der Interpretation Ihrer A/B-Ergebnisse ist die statistische Signifikanz das wichtigste Konzept.

Diese Spalte gibt an, wie unterschiedlich das Konfidenzintervall für die Conversion-Rate für die Testvariante vom Original ist. Wenn das Vertrauen keine Zahl anzeigt, liegt dies daran, dass (standardmäßig) für jede Variante mindestens 5 Zielkonvertierungen erforderlich sind, um sie zu berechnen. Es muss auch die für jede Variante festgelegte Mindestbesucherzahl erreichen. Wenn Sie die Mindestkonvertierungen geändert haben, muss das von Ihnen ausgewählte Minimum erreicht werden.

Diese Spalte enthält graue/grüne Punkte, die Folgendes anzeigen:

• 1 grüner Punkt für 75 %-85 % Vertrauen
• 2 grüne Punkte für 85 %-95 % Vertrauen
• 3 grüne Punkte für 95 %-96 % Vertrauen
• 4 grüne Punkte für 96 %-97 % Vertrauen
• 5 grüne Punkte für 97 % und mehr

Boxplot (Konfidenzintervall)

Der Boxplot oder das Konfidenzintervall gibt einen Wertebereich an, in dem die wahre Conversion-Rate liegt.

Es empfiehlt sich, bei der Erörterung der Ergebnisse den beobachteten Unterschied im Conversion-Rate-Wert für die Original- und Variationsseiten sowie den Bereich, in den die Conversion-Raten tatsächlich fallen können, aufzuzeigen. Das Differenzintervall ist ein möglicher Wertebereich, der auf einer Zahlenstrahlskala aufgetragen wird.

Die größtmögliche Bandbreite der Konversionsrate wird durch die obere Grenze der Zahlenskala markiert, die kleinstmögliche Bandbreite der Konversionsrate wird durch die untere Grenze der Zahlenskala markiert.

Auf der Skala können Sie die folgenden Farben sehen:

• Grauer Bereich: Zeigt an, dass das Experiment immer noch nicht schlüssig ist oder dass zusätzliche Personen benötigt werden, um ein gültiges Ergebnis zu erklären.
• Eine Gewinnvariante wird durch die grüne Farbe angezeigt.
• Eine verlierende Varianz wird durch die rote Farbe angezeigt.

Achten Sie im Boxplot auf Überschneidungen zwischen den Original- und Variations-Conversion-Raten.

Gehen Sie davon aus, dass die Konversionsraten für Original ein Konfidenzintervall von 10–20 % und die Konversionsraten für Variante 1 ein Konfidenzintervall von 15–25 % haben. Es ist erwähnenswert, dass die Überlappung zwischen den beiden Konfidenzintervallen 5 % beträgt und irgendwo zwischen 15 und 20 % liegt. In diesem Zusammenhang ist es unmöglich zu sagen, ob die Variation von B tatsächlich eine wesentliche Verbesserung darstellt. Aus diesem Grund wird Convert bei einer Überlappung der Boxplots keinen Gewinner ausrufen.

Status

Dies zeigt Ihnen einen Statusbericht zur Variation.

Grafiken

Von hier aus können Sie auf drei verschiedene Arten von Diagrammen zugreifen.

Nachfolgend finden Sie jeweils eine Erklärung:

Konvertierungen

• Konversionsrate im Zeitverlauf : Die Y-Achse zeigt die Konversionsrate, die X-Achse die Zeit. Jede Linie repräsentiert eine Variation (kumulative Conversion-Rate) + eine für die Conversion-Rate des gesamten Experiments (Durchschnitt aller Variationen) + eine zweite Y-Achse rechts, die die kumulative Anzahl der Besucher innerhalb des gesamten Experiments darstellt
• Conversions im Laufe der Zeit : Y-Achse zeigt Conversions, X-Achse zeigt Zeit. Jede Linie stellt eine Variation (Conversions) + eine für Conversions des gesamten Tests (durchschnittliche Conversions aller Variationen) + eine zweite Y-Achse rechts dar, die die kumulative Anzahl von Conversions innerhalb des gesamten Tests darstellt.
• Tägliche Konversionsrate im Laufe der Zeit : nicht kumulative Konversionsrate – ähnlich wie das Diagramm Konversionsrate im Laufe der Zeit, außer dass die Y-Achse keine kumulativen Besucher zeigt und die nicht kumulative für die API verwendet wird.
• Verbesserung im Laufe der Zeit : Verbesserung der Konversionsrate pro Tag auf der X-Achse und Linien jeder Variation (aber nicht original).
• Tägliche Besucher im Laufe der Zeit

Produkte

• Produkte pro Besucher : kumulierter Durchschnitt der bestellten Produkte pro Besucher – die Y-Achse zeigt die durchschnittlich bestellten Produkte pro Besucher, die X-Achse zeigt die Zeit. Jede Linie stellt eine Variation dar (kumulative durchschnittlich bestellte Produkte pro Besucher) + eine für durchschnittlich bestellte Produkte pro Besucher des gesamten Experiments (Durchschnitt aller Variationen) + eine zweite Y-Achse rechts, die die kumulative Anzahl der Besucher innerhalb des gesamten Experiments darstellt .
• Tägliche Produkte pro Besucher : Nicht kumulierter Durchschnitt bestellter Produkte pro Besucher
• Verbesserung im Laufe der Zeit : Verbesserung der Produkte pro Tag auf der X-Achse und Linien jeder Variation (aber nicht original)
• Tägliche Besucher im Laufe der Zeit

Einnahmen

• Einnahmen über die Zeit : kumulierter durchschnittlicher Umsatz pro Besucher – die Y-Achse zeigt den durchschnittlichen Umsatz pro Besucher, die X-Achse zeigt die Zeit. Jede Linie repräsentiert eine Variation (durchschnittlicher Umsatz pro Besucher) + eine für den durchschnittlichen Umsatz pro Besucher des gesamten Experiments (Durchschnitt aller Variationen) + eine zweite Y-Achse rechts, die die kumulative Anzahl der Besucher innerhalb des gesamten Experiments darstellt
• Täglicher Umsatz pro Besucher : nicht kumulativer durchschnittlicher Umsatz pro Besucher
• Verbesserung im Laufe der Zeit : Verbesserung des Umsatzes pro Tag auf der X-Achse und Linien jeder Variation (aber nicht original)
• Besucher im Laufe der Zeit

Bewegen Sie die Maus über das Diagramm

Wenn Sie den Mauszeiger über das Diagramm bewegen, wird die Conversion-Rate jeder Variation an diesem Tag und die Conversion-Rate der Variation im Vergleich zum Original angezeigt:

Standardabweichung anzeigen

Sie können auch das Kontrollkästchen aktivieren, um die Standardabweichung (auch Standardfehler genannt) anzuzeigen:

Statistische Formeln konvertieren Verwendungen

Hinweis: Statistische Begriffe werden in einem anderen Blog behandelt, daher wiederholen wir sie hier nicht. Unser Zweck hier ist es, die mathematischen Formeln zu erwähnen, die Convert verwendet.

Convert verwendet einen frequentistischen zweiseitigen Z-Test mit einem Konfidenzniveau von 0,05 (95 %). Das sind 0,025 für jeden Rand, der eine normale symmetrische Verteilung mit der Option ist, dies zwischen 80 % und 99 % zu ändern.

Wir werden in Kürze bayessche Statistiken zu Convert-Berichten hinzufügen. Bleiben Sie dran für weitere Informationen.

Ein zweiseitiger Test sollte verwendet werden, wenn wir einen statistisch signifikanten Unterschied in irgendeiner Richtung (Anstieg oder Abfall) finden wollen. Das Ziel hier ist zu bestimmen, ob die Variation zu einem statistisch signifikanten Anstieg oder Rückgang der Conversions geführt hat.

Wechselkurs

Diese Formel wird verwendet, um die Conversion Rate für jede Variation zu berechnen:

(Gesamtzahl der Zielkonversionen / Anzahl der eindeutigen Besucher) * 100

Änderung der Konversionsrate für Variationen

Die prozentuale Veränderung der Conversion Rate zwischen der Erfahrungsvariation und dem Original errechnet sich wie folgt:

Vertrauensintervalle

Für jede Variation wird ein statistisches Verfahren zur Berechnung eines Konfidenzintervalls um die Konversionsrate verwendet.

Der Standardfehler (für 1 Standardabweichung) wird nach der Wald-Methode für eine Binomialverteilung berechnet. Somit wird für eine gegebene Konversionsrate ( p ) und Stichprobengröße (Anzahl eindeutiger Besucher) der Standardfehler wie folgt berechnet:

Der Standardfehler wird mit dieser Formel berechnet, die davon ausgeht, dass die Binomialverteilung durch eine Normalverteilung angenähert werden kann (aufgrund des zentralen Grenzwertsatzes ). Die Stichprobenverteilung kann mit einer Normalverteilung angenähert werden, wenn es mehr als 10 Conversions für das spezifische Ziel gibt.

Um das Konfidenzintervall für die Umrechnungsrate zu bestimmen, multiplizieren Sie den Standardfehler mit dem 95. Perzentil einer Standardnormalverteilung (ein konstanter Wert gleich 1,65).

Mit anderen Worten, Sie können sich zu 90 % sicher sein, dass Ihre wahre Conversion-Rate p in diesem Bereich liegt:

Z-Score

Mithilfe eines Z-Scores können wir feststellen, ob die Ergebnisse signifikant sind (dass sich die Conversion-Raten nicht aufgrund zufälliger Schwankungen unterscheiden):

Der Z-Score ist die Anzahl der Standardabweichungen zwischen den Mittelwerten des Originals und der Variation. Unter Verwendung einer Standardnormalverteilung wird die Signifikanz von 95 % bestimmt, wenn die Anzahl der Anzeigeereignisse größer als 1000 ist und eines der folgenden Kriterien erfüllt ist:

• Wahrscheinlichkeit (ZScore) > 95 %
• Wahrscheinlichkeit (ZScore) < 5 %

Verbesserung

Die Chance, anders zu sein (im Bericht angezeigt), wird aus dem Wahrscheinlichkeitswert (Z-Score) abgeleitet, wobei:

• Wenn
  
  Wahrscheinlichkeit (ZScore) <= 0,5
  
  dann
  Verbesserung = 1- Wahrscheinlichkeit (ZScore)
  

• Wenn
  
  Wahrscheinlichkeit (ZScore) > 0,5
  
  dann
  Verbesserung = Wahrscheinlichkeit (ZScore)

Worauf bei der Interpretation von Erfahrungsberichten zu achten ist

Nachdem Sie nun mit allen Abschnitten des Convert-Erfahrungsberichts und seinen statistischen Formeln vertraut sind, versuchen wir, ein paar verschiedene Erfahrungsberichte zu interpretieren und zu sehen, was Sie aus diesen herausholen können.

Sind die Erfahrungsdaten aussagekräftig?

Bevor Sie die Ergebnisse auswerten und beurteilen, was als Nächstes zu tun ist, stellen Sie sicher, dass die Erfahrungsdaten aussagekräftig sind. Anhand des „Konfidenzniveaus“ im Convert-Erfahrungsbericht können Sie feststellen, ob die Ergebnisse zufällig sind oder das Verhalten Ihrer Benutzer widerspiegeln.

Ein Signifikanzniveau von 95 % bedeutet, dass Sie sich zu 95 % sicher sind, dass die beobachteten Schlussfolgerungen nicht zufällig sind. Es impliziert auch, dass es eine 5% Chance gibt, dass Sie falsch liegen.

Alternativ können Sie sich das Konfidenzniveau als die Wahrscheinlichkeit vorstellen, dass bei Wiederholung des Experiments andere Ergebnisse erzielt werden.

Wenn Sie eine Vertrauensbewertung von 90 % erreichen, besteht eine Wahrscheinlichkeit von 1 zu 10, dass Sie bei Wiederholung des Tests andere Antworten erhalten. Bei 95 % Konfidenz liegt die Wahrscheinlichkeit bei 1 zu 20, bei 99 % Konfidenz bei 1 zu 100.

Gewinnervariation: Positiver Einfluss

Hier ist ein Beispiel für eine signifikante Variation, die das Original übertraf und zu einer positiven Verbesserung führte.

Für das Ziel „Abonnement anpassen – Seitenansicht in Schritt 1“ hat Variante 1 eine Chance von 98,7 %, Variante 0 (Original) in diesem Erlebnis zu schlagen. Der Boxplot zeigt, dass die Auswahl von Variante 1 zu einer Verbesserung gegenüber dem Original von 13,73 % +- 0,6 % führen kann.

Nach dieser Erfahrung kann man mit Sicherheit sagen, dass die Verbesserung +7,20 % beträgt, aber es besteht die gleiche Wahrscheinlichkeit, dass die Conversion-Rate irgendwo zwischen 13,73 % +- 0,6 % liegt. Unabhängig von der Situation würde sich Variante 1 gegenüber Original verbessern, daher ist dies ein starker Hinweis darauf, sie umzusetzen!

Wieso den?

Wenn dieselbe Erfahrung 10.000 Mal unter identischen Bedingungen wiederholt würde, würde Variante 1 immer noch 9.870 Mal von 10.000 gewinnen.

Variation verlieren: Negative Auswirkungen

Schauen wir uns die Ergebnisse einer signifikanten Erfahrung genauer an, bei der Variante 1 nicht zu einer positiven Verbesserung führt, sondern stattdessen einen negativen Einfluss auf die Conversion-Rate von Variante 0 (Original) hat.

In dieser Erfahrung besteht eine Wahrscheinlichkeit von 98,87 %, dass Variante 1 bei der Conversion-Rate gegenüber Variante 0 verliert. Bei Variante 1 ist mit einer negativen Auswirkung auf die Conversion-Rate des Originals zwischen 4,5 % +- 1 % zu rechnen.

Nicht schlüssige Ergebnisse: Neutrale Auswirkung

Betrachten wir nun eine Erfahrung, die nicht signifikant ist. In der folgenden Erfahrung hat keine der Varianten eine ausreichend hohe Gewinnchance oder eine Wahrscheinlichkeit von mehr als 95 %.

Die Wahrscheinlichkeit, dass Variante 1 gegen Variante 0 gewinnt, beträgt in dieser Erfahrung nur 84,58 %.

Was ist der nächste Schritt, den Sie gehen können?

Es stehen mehrere Optionen zur Auswahl, die alle von der Hypothese und dem endgültigen Ziel der Erfahrung abhängen. Was auch immer der Fall sein mag, es gibt immer ein paar Optionen auf dem Tisch:

• Erweitern Sie Ihr Publikum. Wenn Ihr Besuchersegment zu begrenzt ist, versuchen Sie, sich auf ein Segment mit einem größeren Publikum zu konzentrieren.
• Entfernen Sie einige Variationen. Wenn Sie beispielsweise vier Variationen entwickelt haben, versuchen Sie, dieselbe Erfahrung mit zwei oder drei Variationen auszuführen.
• Lassen Sie es längere Zeit laufen.
• Folgen Sie Ihrem Bauchgefühl und wählen Sie, was am besten zu Ihrer Marke passt. Wenn die Ergebnisse bei zwei Varianten ähnlich sind und Ihre Kollegen zustimmen, dass eine besser auf Ihre Markenanforderungen abgestimmt ist als die andere, können Sie sich entscheiden, eine als Gewinner auszuwählen.
• Starten Sie das Erlebnis neu. Es ist eine kluge Praxis, denselben Test zweimal durchzuführen, um die anfänglichen Ergebnisse zu validieren oder zu entkräften. Da die Umstände wahrscheinlich nicht die gleichen sind (anderer Zeitraum, Verkehrsschwankungen usw.), können die Ergebnisse abweichen!
• Lass es sein. Möglicherweise ist Ihr Original bereits optimiert.

Gibt es eine gleichmäßige Verkehrsverteilung?

Wenn Sie ein A/B-Erlebnis einrichten, weisen Sie jeder Variante einen Prozentsatz des Datenverkehrs zu (standardmäßig 50/50).

Die Besucherzahl sollte die prognostizierte Verkehrsaufteilung darstellen.

Bei einem signifikanten Unterschied liegt mit ziemlicher Sicherheit ein Sample Ratio Mismatch (SRM) vor.

Bei einer 50/50-Aufteilung, wenn Sie 400 Besucher auf der einen und 600 auf der anderen Seite erhalten, sind die Ergebnisse nicht zuverlässig. Wenn dies passiert, ist es an der Zeit, sich Ihre A/B-Erlebniskonfiguration anzusehen. Die Ergebnisse könnten durch Ausreißer wie interne IP-Adressen oder externe Bots verzerrt werden.

Denken Sie daran, dass Daten nur so gut sind wie die Analysen, die Sie damit durchführen. Nutzen Sie alle Tools, die Ihnen zur Verfügung stehen, einschließlich der detaillierten Berichte von Convert Experiences, um genaue und umsetzbare Erkenntnisse zu erhalten.

Wenn Sie noch kein Konto haben, melden Sie sich für eine kostenlose Testversion an und testen Sie es 15 Tage lang. Sie haben Zugriff auf alle coolen Funktionen, die wir in diesem Beitrag besprochen haben, und viele mehr. Und wenn Sie Fragen haben oder Hilfe beim Einstieg benötigen, ist unser Team für Sie da.