So präsentieren Sie Shopify-Metriken in einem A/B-Testbericht, um einen klaren Mehrwert zu bieten

Das Erstellen eines herausragenden Shopify A/B-Testberichts hat zwei Hauptaspekte – die Auswahl der richtigen Metriken und das Wissen, wie man sie präsentiert.

Ihre Auswahl an Metriken wirkt sich auf das Ergebnis des Tests aus und definiert den Fokus des gesamten Optimierungsprogramms.

PS Wählen Sie nicht zu viele Metriken aus. Verwenden Sie die Goldilocks-Regel: nicht zu viele und nicht zu wenige. Zu viele und Sie werden in jedem Experiment einen „Gewinner“ finden. Zu wenige und Sie verlieren potenzielles Lernen und wirken sich möglicherweise negativ auf andere Schlüsselmetriken aus.

Und wenn es darum geht, diese Metriken in Ihrem Shopify-Bericht darzustellen, denken Sie umfassend, aber rationalisiert. Verbinden Sie Bilder mit Zahlen, damit wichtige Änderungen und die Trends oder Muster von Metriken, die zu der Änderung geführt haben, hervorgehoben werden.

Ohne einen Bericht, der der Führung aussagekräftige Ergebnisse präsentiert, kann es schwierig sein, Zustimmung für weitere Experimente zu erhalten oder den ROI von A/B-Tests zu beweisen.

Vielleicht war Ihr Lernen all die Risiken, die Sie vermieden haben, indem Sie keine schlechten Ideen oder Erkenntnisse eingeführt haben, die Sie gewonnen haben, als Sie eine Variation verloren haben, aber ein Segment vielversprechend war oder sich eine Metrik auf unerwartete Weise bewegt hat. Und jetzt müssen Sie durch ein Experiment verstehen, warum das passiert ist, und die Kausalität beweisen.

Fazit: Erstellen Sie einen Bericht, der einfach zu interpretieren ist, und helfen Sie dem Experimentierteam dabei, den Wert der Bemühungen – tatsächliche Erfolge, Lernerfolge und Erkenntnisse – den Beteiligten klar zu vermitteln.

Die wichtigsten Shopify-Metriken zum Nachverfolgen in A/B-Tests und ihre Bedeutung

Während die Metriken, die Sie verfolgen sollten, von Ihrer Hypothese abhängen, sind hier einige Metriken von Shopify, die Sie im Auge behalten sollten

• Bestellungen insgesamt : Die Anzahl der aufgegebenen Bestellungen

• Gesamtumsatz: Der Gesamtbetrag wird nach Vertriebskanal kategorisiert
  Formel : Bruttoumsatz – Rabatte – Rückerstattungen + Versand + Steuern

• Top Landing Pages: Zeigt die Seite an, auf der Kunden eine Sitzung beginnen.
  
• Durchschnittlicher Bestellwert : Der durchschnittliche Wert aller Bestellungen (abzüglich Geschenkkarten) dividiert durch die Gesamtzahl der Bestellungen.

• Online-Shop-Conversion-Rate: Der Prozentsatz der Sitzungen, die zu einer Bestellung geführt haben
  
  
  • Zum Einkaufswagen hinzugefügt: Die Anzahl und der Prozentsatz der Sitzungen, in denen Kunden mindestens einen Artikel zu ihrem Einkaufswagen hinzugefügt haben.
    Formel : ((Sitzungen mit angesehenem Einkaufswagenartikel) / (Gesamtsitzungen))*100
  • Kasse erreicht: Die Anzahl und der Prozentsatz der Sitzungen, in denen Käufer mindestens einen Artikel in ihren Einkaufswagen gelegt, die Kasse erreicht und eine Aktion durchgeführt haben.
  • Konvertierte Sitzungen: Die Anzahl und der Prozentsatz der Sitzungen, in denen Käufer mindestens einen Artikel in ihren Einkaufswagen gelegt, die Kasse erreicht und dann einen Kauf getätigt haben.
• Rate verlassener Warenkörbe: Der Prozentsatz der Warenkörbe, die Kunden verlassen, bevor sie zur Kasse gehen.
  Formel : (1 – (Anzahl der abgeschlossenen Käufe / Anzahl der initiierten Verkäufe))*100

• Absprungrate: Der Prozentsatz der Einzelinteraktionssitzungen
  Formel: Gesamtzahl der Sitzungen auf einer Seite / Gesamtzahl der Einstiegsbesuche

Sie können auch neue Kunden, wiederkehrende Kunden, Empfehlungskanäle (SEO, soziale Medien, direkt oder E-Mail) und Verkäufe nach Standort verfolgen.

Wir haben über HARO über 50 Shopify-Optimierer nach den Metriken gefragt, die sie am liebsten verfolgen, und ein paar klare Favoriten haben sich herauskristallisiert:

• Konversionsrate (CR)
• Klickrate (CTR)
• Conversion-Wert
• Zeit auf Seite
• Absprungrate
• Scrolltiefe
• Engagement auf bestimmten Seiten – wie der Katalog-/Kategorieseite
• Seitennavigationstiefe
• Seitenaufrufe
• Elementansichten
• In den Warenkorb legen
• Nettokäufe
• Zeit bis zur Kasse
• AOV
• NPS (nach dem Kauf)
• Durchschnittlicher Umsatz pro Besucher
• Rate abgebrochener Warenkörbe
• Reingewinn

Die Realität ist, wenn es um das Tracking von Metriken geht, gibt es keine allgemeingültige Antwort. Die wichtigste zu verfolgende Metrik hängt von Ihren spezifischen Zielen ab.

Für einige Shopify-Shops kann es so aussehen:

Einige meiner Lieblingsziele, die ich in Shopify-Shops verfolgen kann, sind

1. Steigern Sie die Klickrate auf Anzeigen.
2. Steigern Sie den Verkauf bestimmter Produkte.
3. Verbessern Sie die Navigation auf der Hauptseite.

Jessica Kats, E-Commerce- und Einzelhandelsexpertin bei Soxy

Shopify Analytics: Die 3 Metriken, auf die Sie besonders achten sollten

Bei Convert bitten wir Shopify-Shop-Inhaber, besonders auf 3 Metriken zu achten:

1. Konversionsrate (CR) – Auf die Gefahr hin, das Offensichtliche zu sagen, Ihre Konversionsrate kann ein guter Indikator für den Erfolg oder Misserfolg Ihrer Experimente sein. Letztendlich wollen Sie mehr Umsatz und mehr Umsatz. Dies ist jedoch möglicherweise nicht die beste Metrik, wenn Sie nicht versuchen zu messen, wie sich Ihre Aktionen auf Personen auswirken, die eine Aktion auf Ihrer Website ausführen.
   
   Lesen Sie weiter, um herauszufinden, welche Metrik die wichtigste ist!

2. Durchschnittlicher Bestellwert (AOV) : Obwohl der AOV nicht die vollständigste Metrik ist, sollten Sie dennoch in Betracht ziehen, ihn zu überwachen. Es ist ein Hinweis auf die Rentabilität in verschiedenen Segmenten – eine breite Kennzahl, die quantifiziert, wie viel Menschen in verschiedenen Kategorien kaufen.
   Wenn Sie es als Ihre primäre E-Commerce-Metrik verwenden, stellen Sie Folgendes sicher:
   
   
   • Der AOV wird über SKUs hinweg überwacht
   • Sie verfolgen Bestellungen von Händlern und Großbestellungen, da dies AOV aus der Bahn werfen kann
   • AOV gibt keinen Gewinn an, da die Kosten der verkauften Waren nicht abgezogen werden, was eine erhebliche Ausgabe darstellt.

3. Durchschnittlicher Umsatz pro Besucher (ARPV): Im Gegensatz zu AOV, das Bestellungen als Randomisierungseinheit hat, was es schwierig macht, richtig zu testen, verwendet ARPV Besucher als Randomisierungseinheit, was praktisch ist.
   
   ARPV ist die wichtigste zu verfolgende Metrik, da sie sowohl aus CR als auch aus AOV besteht.

Und Alex Birkett, Mitbegründer von Omniscient Digital, stimmt zu:

Ihr Experimentziel ist sowohl für Ihr Experimentdesign als auch für das, was Sie letztendlich aus Ihrem Experiment lernen, äußerst wichtig.

In zu vielen Unternehmen ist die einfache Proportionsmetrik „Conversion Rate“ das universelle Versuchsziel. Dies ist in Ordnung, wenn Sie erfahren möchten, ob Ihre Intervention den Anteil der Personen erhöht, die eine Aktion ausführen, z. B. * irgendetwas * auf Ihrer Website kaufen, aber wenn Sie das nicht lernen möchten oder wenn dies nicht die Nadel ist, die Sie sind zu versuchen, sich zu bewegen, ist es nicht die beste Metrik.

Viele der Shopify-Websites, mit denen ich gearbeitet habe, wollten beides
a) die Kaufgröße (oder den durchschnittlichen Bestellwert – AOV) für diejenigen erhöhen, die kaufen oder
b) den Durchschnittswert der Besucher auf einer Reihe von Seiten zu erhöhen.

Für Ersteres sollten Sie AOV und Umsatzverfolgung einrichten. Diese erfordern eine Integration mit Ihrem Warenkorb, aber die meisten Testtools, einschließlich Convert, verfügen über native Integrationen mit Shopify.

Convert hat auch eine ganze Anleitung zur Optimierung von AOV, die Sie sich ansehen können.

Wenn ich für AOV optimiere, verfolge ich auch die Konversionsrate, um sicherzustellen, dass ich diese Metrik nicht verändere.

Aber ich betrachte es als Leitplankenmetrik.

Wenn ich den AOV erhöhen und gleichzeitig meine Baseline-Conversion-Rate beibehalten kann, schicke ich das Experiment an die Produktion. Ich kann den Grenzwert auch für den Fall berechnen, dass die Conversion-Rate etwas sinkt, der durchschnittliche Bestellwert dies jedoch ausgleicht, indem der durchschnittliche Umsatz pro Besucher des Experiments erhöht wird.

Das bringt mich zu meinem zweiten Post-hoc-Reporting-Tool für Shopify: durchschnittlicher Umsatz pro Besucher.

Einige argumentieren, dass dies die ultimative Metrik zur Conversion-Optimierung für E-Commerce-Shops ist, da es sich um eine zusammengesetzte Metrik handelt, die durch die Steigerung der Conversions oder durch die Erhöhung des Werts jeder Conversion (dh des durchschnittlichen Bestellwerts) beeinflusst werden kann.

Der durchschnittliche Bestellwert und der durchschnittliche Umsatz pro fälligem Besucher stellen einige zusätzliche Komplexitäten bei der Berichterstattung dar.

Die Konversionsrate ist eine binäre Metrik und kann als kategoriale Variable behandelt werden (bestanden/nicht bestanden, konvertiert oder nicht) und kann mit so etwas wie einem Chi-Quadrat-Test analysiert werden.

Der durchschnittliche Bestellwert ist eine kontinuierliche Variable und wird oft von Ausreißern beeinflusst (z. B. kommt jemand herein und kauft das 10-fache des Volumens eines normalen Einkaufs – was machen Sie mit diesem Ausreißer?).

Der durchschnittliche Umsatz pro Besucher wird ebenfalls von Ausreißern beeinflusst und ist eine kontinuierliche Variable, aber die zugrunde liegenden Annahmen des Modells gleichen sich bei höheren Stichprobenumfängen tendenziell aus.

Diese beiden Metriken werden in der Berichterstellung für Shopify-Experimente unterschätzt, aber sie stellen einige neue Herausforderungen für die Analyse dar, abgesehen von einfachen Erhöhungen der Konversionsrate.

Die meisten A/B-Testing-Tools können dies jedoch berücksichtigen, und Sie werden keine allzu großen Probleme mit der Schlussfolgerung haben.

Tooltipp: Verwenden Sie den Convert-Rechner für die Pre-Test-Analyse, um die Anforderungen an die Stichprobengröße für ihre Risikotoleranz und den Effekt, den sie auf die oben aufgeführten wichtigen Metriken erkennen möchten, abzuschätzen.

Welche Elemente und Erkenntnisse sollte ein großartiger Shopify A/B-Testbericht enthalten?

Wie sieht also ein herausragender Shopify A/B-Testbericht aus? Dazu kommen wir gleich.

Tauchen Sie dies zuerst ein:

Sie können nur dann einen guten und wertvollen Testbericht erstellen, wenn Sie Ihren Test mit einer guten Hypothese begonnen haben

Andra Baragan, Gründerin von ONTRACK Digital

Wenn Sie einige Hinweise zum Erstellen einer soliden Hypothese wünschen, sind Sie bei uns genau richtig.

Nachdem wir nun unsere Grundlagen abgedeckt haben, hier weitere Ratschläge von Andra Baragan zur Erstellung eines A/B-Tests:

Jeder neue A/B-Test sollte mit der Beantwortung dieser Fragen beginnen:

Problem : Welches Problem möchten Sie beheben?

Gelegenheit : Wie wird Ihre Lösung das Problem beheben?

Optimierungspfad : Wie hilft dies unserem Kunden, seine Ziele zu erreichen? Quelle : Welche Datenquellen haben Sie verwendet, um Ihre Lösung zu entwickeln?

Wenn es um die Berichterstattung geht, empfiehlt Andra schließlich, zurückzugehen und diese Fragen mit Zahlen zu beantworten.

In jeden Testbericht nehmen wir Folgendes auf:

• Testdauer : (wie viele Tage lief der Test)
• Testintervall: (Zeitraum, in dem es gelaufen ist)
• Was wir getestet haben: (erklären Sie, was Sie geändert haben)
• Einblicke : (1-2 Zeilen darüber, warum Sie es getestet haben, was Sie beobachtet haben, das Sie dazu gebracht hat, es zu testen)
• Was hast du aus dem Test gelernt? Was sind jetzt die nächsten Schritte?
• Muss der Test auf der Live-Website implementiert werden? Möchten Sie die Variation wiederholen und erneut testen? Welche Maßnahmen sind nach diesem Bericht erforderlich?

Wir erhalten unsere Testergebnisse immer von Google Analytics – wir erstellen benutzerdefinierte Segmente der Benutzer für jede Variation und können diese Segmente dann in allen relevanten Berichten ausführen – dies gibt uns einen unvergleichlichen Einblick in die Auswirkungen des Tests auf das Benutzerverhalten.

Hinweis : Wenn Sie Ihre Analysen aus dem Shopify-Dashboard abrufen und mit Google Analytics vergleichen, gibt es einige Diskrepanzen aufgrund der Art und Weise, wie Metriken berechnet werden. Hier finden Sie weitere Informationen darüber, warum das passiert.

Bericht strukturieren

Die Struktur Ihres Berichts kann variieren, je nachdem, wem Sie ihn präsentieren – Führungskräfte benötigen nicht so viele Details wie Ihr Testteam. Ihr Bericht sollte jedoch normalerweise diese Aspekte enthalten:

• Folie 1: Der Zweck des Tests – Warum haben Sie den Test durchgeführt, und was war Ihre Hypothese, die Sie dazu veranlasst hat, diesen speziellen Test zu entwickeln?
  
  Für Stakeholder und Ihre gesamte Organisation können Sie dieses ziemlich hohe Niveau halten. Fügen Sie bei der Präsentation vor Ihrem Testteam Kontext aus früheren Tests hinzu (falls zutreffend) und tauchen Sie tief in die Metriken ein, die Sie zu verschieben hofften.

• Folie 2: Die Details des Tests – Zeigen Sie die verschiedenen Variationen des Tests und fügen Sie eine kurze Anmerkung hinzu, um die Unterschiede zu erklären. Geben Sie an, wann Sie die Tests durchgeführt haben, wie lange sie gelaufen sind, und geben Sie einen Überblick über die Besucherzahlen nach Variation.
  
  Bei der Präsentation vor Führungskräften oder anderen Teams können Sie Details auslassen, die für die Erkenntnisse oder Erkenntnisse nicht relevant sind. Für Ihr Testteam können Sie diese Folie oder Seite erweitern, um jedes winzige Detail abzudecken.

• Folie 3: Die Ergebnisse des Tests – Zeigen Sie die prozentuale Steigerung oder den Verlust, die Conversion-Raten verschiedener Varianten und die statistische Signifikanz der Tests.
  
  Stakeholder interessieren sich für Ergebnisse, was dies zu einem der wichtigsten Aspekte Ihres Berichts macht. Heben Sie Erfolge und die KPIs hervor, die sich in die richtige Richtung entwickelt haben. Entfernen Sie Ausreißer, die für das Ergebnis nicht relevant sind. Denken Sie daran, Sie müssen an ihr Eigeninteresse appellieren. Geben Sie ihnen etwas, das sie gut aussehen lässt.
  
  Ihr Testteam kann mehr Zeit auf die Verluste und die Metriken verwenden, die sich nicht wie erwartet entwickelt haben.

• Folie 4: Die Lehren aus dem Test – Wenn der Test keine eindeutigen Ergebnisse brachte, ist dies Ihre Chance, Daten zu nutzen, um eine Geschichte zu erzählen. Erklären Sie den Stakeholdern, was die Zahlen in Ihrem Bericht bedeuten, welche Erkenntnisse Sie aus der Durchführung dieser Tests gewonnen haben und wie Sie planen, neue Hypothesen für zukünftige Tests zu generieren.
  
  Dies ist auch für Ihr Testteam sehr wichtig. Die Lektionen, die Sie durch Misserfolge lernen, können die nächsten Schritte für das Team bestimmen.

• Folie 5: Die Auswirkung auf den Umsatz : Wenn Sie können, versuchen Sie, die prozentualen Steigerungen, die Sie zuvor gezeigt haben, mit den prognostizierten Auswirkungen auf den Umsatz im Jahresvergleich zu quantifizieren.
  
  Denken Sie daran, dass Führungskräfte, die an Experimenten interessiert sind, ihnen die Auswirkungen auf das Endergebnis des Unternehmens zeigen müssen. Wenn Sie keine prognostizierten Einnahmen vorzuweisen haben, stellen Sie sicher, dass Ihre Erkenntnisse einen Plan zur Durchführung zukünftiger Tests enthalten, die Auswirkungen haben könnten.
  
  

Da es nicht die eine Möglichkeit gibt, dies richtig zu machen, haben wir einige Experten gebeten, uns mitzuteilen, wie sie ihre Berichte strukturiert haben, und das haben sie gesagt:

Ich habe eine sehr standardmäßige Methode zum Strukturieren von Berichten, die Folgendes umfasst:

1. Überblick
   
   Eine schnelle, leicht verständliche Zusammenfassung dessen, was wir getestet haben, warum wir es getan haben, was wir beobachtet haben und was wir als Nächstes vorhaben.

2. Testkonzept
3. Experimentieren Sie kreativ
4. Termine und Dauer
5. Metriken
6. Seiten
7. Hypothese
8. Analyse
9. Ergebnisse
   
   Meiner Meinung nach ist es unerlässlich, dass jeder Bericht die vollständigen Rohergebnisse enthält, damit sie von anderen und auch zum Wohle der Nachwelt befragt werden können.
   
   Wir gehen vielleicht davon aus, dass wir jetzt auf die Ergebnisse in unserem A/B-Testing-Tool zugreifen können, aber was ist in einem Jahr? 2 Jahre? Drei?

10. Nächste Schritte
    
    Basierend auf dem, was wir in diesem Experiment gesehen haben, was werden wir als nächstes tun?

Oliver Palmer, CRO-Berater bei Oliver Palmer

Unsere A/B-Testberichte enthalten immer die folgenden Elemente:

1. Eine klare Beschreibung der Änderungen, die in jeder Version vorgenommen wurden;

2. Die Ergebnisse des Experiments, einschließlich der Version, die besser abgeschnitten hat; und

3. Empfehlungen für weitere Experimente basierend auf den Ergebnissen des A/B-Tests

Diese Berichte helfen uns zu verstehen, was für unseren Shop am besten funktioniert, und fundierte Entscheidungen darüber zu treffen, wie wir unsere Konversionsrate verbessern können.

Luke Lee, CEO von PalaLeather

1. „ Experiment angesehen (Seite) – Wie viele Personen haben das Experiment gesehen?
2. Experiment angesehen (Element) – Wenn das Experiment nur auf der Bildlaufleiste angezeigt wird, wie viele Personen haben es gesehen?
3. Experiment verweilen – Hat sich der Mauszeiger des Benutzers auf dem Desktop über den Experimentbereich bewegt?
4. Experimentinteraktion – Hat der Benutzer mit dem Experiment interagiert? (Jedes Element einzeln verfolgen)
5. Zeit auf Seite
6. Zeit zur Kasse ”

Alex Halliday, Gründer und CEO von AirOps

Hier ist ein kurzes Beispiel dafür, wie einer der Aktivitätsberichte von ONTRACK Digital aussieht:

( Sie können dies als Vorlage für Ihren Bericht verwenden.)

Folie 1:

• Markenname
• Berichtsname
• Zeitraum

Folie 2:

Höhepunkte des Tests

• Anzahl der abgeschlossenen Tests
• Anzahl erfolgreicher Tests
• Funktionen implementiert
• Anzahl der laufenden Tests
• Überblick über alle Tests mit Status-Update

Folie 3:

Google Analytics-Übersicht für einen bestimmten Zeitraum

• Umsatz und Conversion-Rate
• Transaktionen
• AOV

Folie 4:

Tests laufen derzeit

• Momentaufnahme der derzeit laufenden Tests
• Visual von A/B-Testsoftware, um zu zeigen, welche als Gewinner hervorgeht
• Metriken von Google Analytics zur Unterstützung des Testfortschritts

Folie 5:

Überblick über zukünftige Tests

• Alle Tests in Planung

Sie können eine Folie haben, um jeden Test zu erklären, begleitet von einem Bild.

Abdeckung von Zielen und KPIs

Ziele und KPIs gehen in den Abschnitt „Details des Tests“, damit Sie das Ziel des Experiments erläutern können.

Stellen Sie sicher, dass Sie eine Notiz hinzufügen, um Ihre Wahl zu erklären. Sie werden vielleicht darüber gegrillt, warum Sie ein bestimmtes Ziel oder einen bestimmten KPI ausgewählt haben, um es gegenüber anderen zu verfolgen.

Benötigen Sie Hilfe bei der Identifizierung der zu verfolgenden Ziele und KPIs? Holen Sie sich unseren ultimativen Leitfaden zur Verwendung von Zielen in A/B-Tests.

Wir haben auch einige Experten gefragt, welche Ziele sie verfolgen:

Mein Lieblingsziel beim Testen in Shopify-Shops ist die Steigerung des Engagements auf der Katalogseite. Unsere Produkte bestimmen den Umsatz und das Kundenwachstum innerhalb des Kanals. Die Konzentration auf dieses Ziel und das Testen geben uns einfallsreiche Erkenntnisse darüber, ob die Seite oft genug besucht wird. Wenn das Engagement gering ist, hilft uns das Testen, Bereiche herauszufinden, in denen es uns fehlt, was zu einer Überarbeitung der Marketingbemühungen führt.

Aviad Faruz, CEO von Faruzo

In Bezug auf die Zielverfolgung wähle ich im Allgemeinen eine primäre Metrik aus der folgenden Liste aus und verwende dann die anderen als Gesundheitsmetriken oder Zählermetriken. Es ist gut, mehrere Zahlen im Auge zu behalten, falls unbeabsichtigte Konsequenzen auftreten.

1. Absprungrate
2. CVR (Gesamtsteigerung der Conversion-Rate)
3. AOV (durchschnittlicher Bestellwert)
4. Durchschnittlicher Umsatz pro Besucher (Mischung aus den beiden oben genannten)
5. NPS oder ähnliches

Ich segmentiere Benutzer auch gerne nach:

1. UTM-Quelle
2. Gerätetyp
3. Ort
4. Neuer vs. wiederkehrender Besucher“

Alex Halliday, Gründer und CEO von AirOps

In Bezug auf das Ziel gibt es normalerweise einen Frühindikator, den wir direkt zu beeinflussen versuchen (z. B. angesehene Produktseiten oder Interaktionen mit einem Größen-/Farbfilter) und dann fast immer die Conversion und den Umsatz pro Besucher. Nachverfolgte Ziele sollten sich direkt auf die Hypothese und die kommerziellen Ziele des Experiments beziehen, daher ist es selten sinnvoll, mehr als drei oder höchstens vier zu verfolgen.

Oliver Palmer, CRO-Berater bei Oliver Palmer

Wir verfolgen in unseren A/B-Tests im Allgemeinen zwei Ziele: Conversion-Rate und durchschnittlicher Bestellwert . Je nach Art des Experiments können wir jedoch auch andere Ziele wie die Klickrate oder die Verweildauer auf der Website verfolgen. Generell kommt es auf das Experiment an. Andere Benutzer und Unternehmen haben möglicherweise andere Kriterien für die Verfolgung ihrer jeweiligen Ziele.

Unsere bevorzugten Ziele zum Testen in Shopify-Shops sind die Konversionsrate und der durchschnittliche Bestellwert. Wir sind der Meinung, dass dies die wichtigsten Metriken für unseren Shop sind und die meisten Erkenntnisse darüber liefern, wie wir unseren Shop verbessern können. Allerdings ist jedes Geschäft anders und Sie stellen möglicherweise fest, dass andere Ziele für Ihr Unternehmen wichtiger sind. Es hängt wirklich davon ab, was Sie optimieren möchten.

Luke Lee, CEO von Palaleather

Creatives für visuelles Storytelling hinzufügen

Die meisten von Ihnen verwendeten A/B-Testsoftware bieten Tabellen und Grafiken oder fertige Vorlagen, die Sie beim Exportieren von Berichten verwenden können. Sie können diese Grafiken zu Ihrem Bericht hinzufügen (wenn sie natürlich relevant sind) und erwägen, eigene zu erstellen.

Ihre Zahlen erzählen eine Geschichte. Verwenden Sie einfach die Creatives, um es visuell darzustellen. Der Trick besteht darin, leicht verständliche Visualisierungen zu verwenden, am besten in einem Rutsch.

Annemarie Klaassen und Ton Wesseling bei CXL sind diesen Weg gegangen und haben verschiedene Methoden ausprobiert, um zu einer funktionierenden Lösung zu gelangen. Hier ist eine kurze Zusammenfassung ihrer Ratschläge:

Tipp 1: Wenn Sie sich nicht sicher sind, halten Sie sich an die Norm – Excel-Tabellen

Sie können den Auftrieb und die Wirkung sofort sehen. Außerdem können Sie den Gewinner farblich kennzeichnen, damit jeder leicht sehen kann, welche Variante gewonnen hat.

Tipp 2: Fügen Sie ein Diagramm hinzu

Sie können die Conversion-Rate pro Tag im Zeitverlauf betrachten und die Unter- und Obergrenze der Standardvariation hinzufügen.

Dies gibt Ihnen jedoch keine klare Antwort darauf, welche Variante gewonnen hat und wie sich die KPIs ausgewirkt haben. zeigen Ihnen nur, dass es einen stabilen Effekt gibt, der für Stakeholder nicht interessant ist.

Tipp 3: Statistikern nacheifern

Eine andere Möglichkeit (möglicherweise genauer) besteht darin, das zu replizieren, was Statistiker tun: 2 Glockenkurven, ein kritischer Wert und ein schattierter Bereich. Aber das Problem ist, dass es zu schwierig ist, es klar zu erklären.

Annemarie und Ton haben sich also Folgendes ausgedacht:

Zwei klare Punkte, um die Conversion-Rate beider Varianten zu zeigen. Die gepunktete Linie repräsentiert die Konfidenzintervalle.

„Liegt die Konversionsrate von Variante B außerhalb der Reichweite des Konfidenzintervalls von A, ist Variante B deutlich besser. Der grün schraffierte Bereich hebt dies hervor. Ein Punkt im roten Bereich würde bedeuten, dass die Variante deutlich schlechter abschneidet.“

Sie brauchten noch ein paar Versuche, um es genau richtig zu machen. Am Ende hatten sie eine konsolidiertere Version, die für ihr Team sinnvoll war, und sie konnten die Produktion der Creatives automatisieren.

Sie können den vollständigen Beitrag lesen, um zu sehen, was sie am Ende erreicht haben.

PS Sie müssen das nicht überkomplizieren. Stellen Sie sicher, dass Sie über Creatives verfügen, die Ihre Ergebnisse und Erkenntnisse untermauern, und stellen Sie sicher, dass es für alle leicht verständlich ist.

Abdeckung von Targeting und Experimentdesign

Wie Sie ein Experiment entworfen haben und welches Zielgruppensegment angesprochen wurde, ist genauso wichtig wie das, was Sie daraus gelernt haben, zumal Sie diese Erkenntnisse verwenden müssen, um zukünftige Tests zu konstruieren.

Diese finden Sie ebenfalls im Abschnitt „Details“. Möglicherweise möchten Sie einige Informationen, die für die C-Suite nicht relevant sind, abstrahieren oder eine gekürzte Version davon präsentieren.

So gehen die Experten an Targeting und Segmentierung heran:

Verschiedene Experimente zielen auf unterschiedliche Benutzersegmente ab, z. B. Stammkunden oder Personen, die Ihre Hauptproduktseite gesehen haben. Sie können britische Kunden mit britischem Englisch ansprechen, wenn Sie Benutzer aus der ganzen Anglosphäre haben. Indem Sie Ihre Zielgruppe segmentieren, können Sie Ihr Experiment nur der bestimmten Anzahl von Besuchern anzeigen, die Ihre Kriterien erfüllen, und diejenigen ausschließen, die dies nicht tun.

Bevor Sie A/B-Tests in Ihrem Geschäft durchführen, müssen Sie herausfinden, welcher Teil Ihrer Zielgruppe für Ihre Hypothese geeignet ist. Die Segmentierung garantiert, dass das richtige Experiment den richtigen Kunden gezeigt wird.

Lulu Albanna, Mitbegründerin – WRC Media

Erklären Sie, warum Sie diese speziellen Entscheidungen getroffen haben. War es das Ergebnis eines früheren Experiments? Oder sind Sie aufgrund der Konversionsforschung zu einer bestimmten Hypothese gelangt?

Paul Somerville, Technical Manager bei Electric Scooter Guide, empfiehlt außerdem, mitzuteilen, wo der Test ausgelöst wurde und warum das wichtig ist:

Als Shopify-Unternehmen haben wir zahlreiche A/B-Tests für Funktionen wie Live-Chat, Call-to-Action-Schaltflächen, Produktbilder, Upselling-Positionierung, Zielseiten, Navigationsmenüs und mehr durchgeführt.

A/B-Tests halfen uns beispielsweise dabei, die richtige Balance zwischen Cross-Selling und Up-Selling ohne Ärger oder Reibung im Kundenerlebnis herzustellen.

Wir haben festgestellt, dass unser Publikum hochrelevante Vorschläge sofort auf den Produktseiten mochte und nicht die, die während des Bezahlvorgangs präsentiert wurden, nachdem wir mehrere Experimente durchgeführt hatten, und infolgedessen haben wir den durchschnittlichen Transaktionswert erhöht.

Nullstellung bei Segmentierung

Alle Tests beginnen nicht mit einem Zielgruppensegment im Hinterkopf. Ziel des Tests ist oft, herauszufinden, welches Segment besser auf eine Veränderung reagiert.

Wenn Sie also beabsichtigen, nach Abschluss des Tests Zielgruppensegmente zu definieren, stellen Sie sicher, dass Sie Ihre Ergebnisse dazu in die Abschnitte „Ergebnisse“ und „Lernen“ des Berichts aufnehmen.

Einige gängige Segmentierungen, die Sie in Ihren Bericht aufnehmen möchten:

• Geographisch
• Verhalten
• Wetter
• Technografisch

All dies wird Ihnen helfen, Ihre Ergebnisse zu verfeinern, um Ihr Publikum besser zu verstehen und überlegene Tests zu entwerfen.

Sie sollten jedoch bedenken, dass bei der Post-Segmentierung drei häufige Probleme auftreten können: eine zu kleine Stichprobengröße, der Vergleich mehrerer Segmente und die Konzentration auf die völlig falschen.

Hinweis : Sie können auch mit Ihrer Post-Segmentierung fortfahren – segmentieren Sie Zielgruppen basierend auf Cookies, Ihrer Datenschicht oder sogar HubSpot-Listen.

Vermittlung des Werts von Shopify A/B-Tests, intern und an Kunden

Jetzt, da Sie wissen, wie Ihr Shopify A/B-Testbericht aussehen sollte, hier einige Ratschläge unserer Experten:

• B2C vs. B2B – Zeigen Sie ihnen den richtigen Weg
  Die Kaufzyklen im B2C sind viel kürzer und es gibt viel mehr Traffic, sodass Sie idealerweise das Potenzial haben, viele Tests durchzuführen. Sie werden jedoch feststellen, dass sich die meisten Marken immer noch auf die „bewährten“ Akquisitionskanäle konzentrieren, die aufgrund neuer Datenschutzaktualisierungen, die zu schlechten Daten führen, nicht mehr tragbar sind. Das Ergebnis? Ein atemberaubender Anstieg der Kosten für die Kundenakquise. Erklären Sie Ihren Kunden/Stakeholdern, dass Sie nicht alle Ihre Konkurrenten übertreffen können.

• Spielen Sie im Interesse der Führung
  Der wahre Wert von A/B-Tests liegt in den Erkenntnissen, die Sie aus Experimenten gewinnen. Aber diese sind für den Gründer und andere Stakeholder nicht nützlich. Sie sind wahrscheinlich weniger von Lernergebnissen beeindruckt und mehr an „Gewinnen“ interessiert.

• Setze keine falschen Erwartungen
  Natürlich sollten Sie versuchen, die Auswirkungen auf den Umsatz aufzuzeigen, aber der Schlüsselsatz hier lautet: Wenn möglich. Prognostizieren Sie den Umsatz nicht auf der Grundlage einer Steigerung der Conversion-Raten oder des durchschnittlichen Bestellwerts.
  Konzentrieren Sie sich stattdessen auf das, was getestet wurde:
  
  
  • Beschreiben Sie genau, was Sie getan haben, und erstellen Sie visuelle und relevante Berichte.
  • Was waren die Learnings? Dies kann von einer Metrik wie CR oder ARPV Moving kommen. Fixieren Sie sich nicht auf die Bewegung, sondern darauf, ob sich die Hypothese als richtig erwiesen hat. Wenn ja, was verrät der kausale Zusammenhang über Ihre Zielgruppensegmente?
  • Was werden Sie mit dieser Erkenntnis anfangen? Werden Sie die Positionierung verfeinern? Oder vielleicht das Website-Design verbessern?
  • Was bedeutet das für das Unternehmen als Ganzes? Und kann es die Marke den Geschäftszielen einen Schritt näher bringen?

• Fügen Sie Kontext zu den Zahlen hinzu, die Sie präsentiert haben
  Sie müssen die Leute unmissverständlich wissen lassen, was sie sehen. Das kann eine Farbcodierung, das Hinzufügen von Branchenbenchmarks, das Anzeigen von Durchschnittswerten, Zielgruppensegmenten oder sogar das Anzeigen der Kosten verschiedener Kanäle bedeuten.

Wenn Sie diesem Ansatz folgen, stellen Sie sicher, dass Sie nicht immer unter dem Druck stehen, schnelle Gewinne zu erzielen.

Sie können Ihre Aufmerksamkeit wieder darauf richten, worum es beim Experimentieren geht – Lernen. Aber der Schlüssel ist nicht, eine Sache über die andere zu stellen.

Die besten Experimentieragenturen konzentrieren sich genauso auf Interesse und Akzeptanz wie auf das, was sie testen. Ein echter Balanceakt zwischen Enthusiasmus (Ja! Experimente können Unternehmen wachsen lassen) und ungenauen Erwartungen setzen (unser Umsatz wird sich verdoppeln).

Der Weg nach vorn ist (*Trommelwirbel bitte*) Bildung. Besorgen Sie sich ein Exemplar von „Experimentation Works“ – eine Lektüre ohne Fachjargon, die Sie dabei unterstützt, bessere Tests durchzuführen und umsetzbare Erkenntnisse zu teilen.

Und wenn Sie nach einem A/B-Testtool suchen, das Ihnen helfen kann, Ihre Last zu verteilen, probieren Sie Convert aus. Es ist 15 Tage lang kostenlos – keine Kreditkarte erforderlich.