Input- vs. Output-Metriken beim Experimentieren: So wählen Sie aus, was gemessen werden soll

Die Metriken, die Sie für Ihr Experimentierprogramm definieren und verfolgen, sind unglaublich wichtig.

Was Sie messen, bestimmt Ihren Fokus. Sie sagen: „Man kann nicht managen, was man nicht misst.“

Und obwohl das völlig richtig ist (Sie können sicherlich abnehmen, auch wenn Sie nicht auf eine Waage schauen), ist es richtungsweisend und praktisch wahr (es ist viel einfacher, Gewicht zu verlieren, wenn Sie auf eine Waage schauen).

Ich habe viel Zeit damit verbracht, darüber nachzudenken, welche Metriken beim Experimentieren wichtig sind.

Noch wichtiger ist, dass ich viel Zeit damit verbracht habe, sowohl über Input-Metriken als auch über Output-Metriken nachzudenken.

Was ist der Unterschied zwischen Input- und Output-Metriken?

Input-Metriken sind Frühindikatoren, Dinge, die Sie direkt steuern können. Typischerweise verfolgen sie den Aufwand, die Ressourcenzuweisung und die betriebliche Effizienz.

Die Idee von Input-Metriken ist, dass sie mit Output-Metriken korrelieren.

Sie können zwar nicht sehr genau vorhersagen, wie hoch Ihre Gesamtkonversionsrate sein wird, aber Sie können leicht steuern, wie viele Experimente Sie durchführen, wie effizient Sie dabei sind, Gewinne in die Produktion zu bringen, und bis zu einem gewissen Grad, wie hoch Ihre Gewinnrate ist und durchschnittliche Gewinngröße sind.

Diese Dinge können und sollten Ihren Output-Metriken zugeordnet werden, bei denen es sich in der Regel um numerische Geschäftsmetriken handelt, die den Beteiligten wichtig sind. Sie sind die Zahlen, die zeigen, ob sich der ganze Aufwand, den Sie in das Experimentieren stecken, aus ROI-Sicht tatsächlich auszahlt.

Da sich Output-Metriken auf Geschäftsergebnisse konzentrieren, werde ich diese zuerst durchgehen – der Grund dafür ist, dass Ihre Output-Metriken Ihre Input-Metriken bestimmen sollten.

Einfach ausgedrückt sind Ihre Output-Metriken das, was für das Unternehmen wichtig ist, und Ihre Input-Metriken sind die Hebel, die Sie steuern können, um diese Ergebnisse zu erzielen.

Experimentierausgabemetriken

Output-Kennzahlen sind das, was Sie Ihrem Chef zeigen. Sie knüpfen an den Wert Ihres Experimentierprogramms an und zeigen, dass Sie insgesamt einen positiven ROI erzielen.

Realistisch gesehen kann eine Testergebnismetrik alles Quantitative sein, das Sie messen können. In den meisten Fällen ist dies eine diskrete oder binäre Metrik wie die Conversion-Rate, aber manchmal ist es eine kontinuierliche Metrik wie der Umsatz pro Besucher.

In allen Fällen möchten Sie Ihre Ausgabemetrik abbilden, die den größten Wert für Ihr Unternehmen darstellt.

Experimentiermesswerte lassen sich am besten in zwei Kategorien unterteilen: Mikro-Conversions und Makro-Conversions (auch als primäre und sekundäre Messwerte bekannt) .

Mikro-Conversions vs. Makro-Conversions (& Monitoring-Metriken)

Der allgemeine Rat im Bereich A/B-Tests lautet, für Makro-Conversions zu optimieren.

Makro-Conversions werden zwar von Ihnen und Ihrem Unternehmen definiert, sind aber diejenigen, die dem Geld am nächsten kommen. Im E-Commerce ist dies der Einkauf bzw. der Umsatz pro Besucher. Im B2B-Bereich könnten dies hochwertige Lead-Conversions oder vielleicht Produktanmeldungen für eine Freemium-Software sein.

In jedem Fall können Sie Mikro-Conversions direkt dem Umsatz zuordnen, und somit ist der ROI in diesen Experimenten einfach zu messen und den Aufwand zu rechtfertigen.

Mikro-Conversions sind jene Aktionen, die zur Makro-Conversion führen und tendenziell stark mit dem Abschluss der Makro-Conversion korrelieren.

Im E-Commerce können Mikro-Conversions Add-to-Carts, Banner-Klicks oder sogar E-Mail-Listen-Anmeldungen sein. Im B2B-Bereich können dies Klicks auf die Preisseite, CTA-Klicks oder E-Mail-Listen-Anmeldungen sein.

Es gibt auch Überwachungsmesswerte oder Leitplankenmesswerte . Dies sind Qualitätsindikatoren, die Sie möglicherweise nicht verbessern, sondern nicht schädigen möchten. Wenn also ein Experiment die Conversion-Rate, aber auch die Produktrückgabe- oder Rückerstattungsrate erhöht, dürfen Sie dieses Experiment nicht in die Produktion überführen.

Es gibt keine universelle und objektive Trennung zwischen den beiden Kategorien, obwohl es einige offensichtliche Bruchlinien gibt. Führt die Conversion nämlich direkt zu Einnahmen für Ihr Unternehmen?

Ich werde hier 18 Output-Metriken durchgehen und sie in Makro- und Mikro-Conversions unterteilen. Am Ende besprechen wir, wie Sie die richtigen Output-Ziele für Ihr Unternehmen auswählen.

Makro-Konvertierungen

Conversion-Rate-Metriken (jeglicher Art)

Die Konversionsrate ist die häufigste Ausgabemetrik, aber sie kann viele Dinge für viele verschiedene Arten von Unternehmen bedeuten.

Auf einer grundlegenden Ebene bedeutet dies nur, dass Sie versuchen, den Anteil derer zu erhöhen, die sich ein Erlebnis ansehen und dann eine gewünschte Aktion ausführen, nachdem sie sich dieses Erlebnis angesehen haben.

1. Lead-Conversion-Rate

Einer der häufigsten Conversion-Rate-Typen ist die Lead-Conversion-Rate.

Dies ist der Anteil der Besucher Ihrer Website, die sich anmelden, um ein Lead zu werden. Die Definition eines „Leads“ hängt natürlich von Ihrem Unternehmen ab. In einigen Fällen ist es jemand, der sich anmeldet, um eine Demo anzufordern.

Manchmal bohren Unternehmen weiter nach unten und zählen nur „qualifizierte“ Leads, was auf Datenanreicherung oder dem Filtern verschiedener Dimensionen basiert, um festzustellen, ob jemand gut zu dem Produkt passt oder nicht.

Andere Unternehmen zählen marketingqualifizierte Leads, z. B. Besucher, die sich für ein Webinar anmelden oder ein Whitepaper herunterladen.

2. Produktanmeldungen oder -käufe

Produktanmeldungen sind eindeutige Makrokonvertierungen. Wenn Sie physische Waren verkaufen, ist dies jemand, der sie kauft. Wenn Sie ein Freemium-SaaS-Unternehmen sind, ist dies jemand, der Ihr Produkt zum ersten Mal betritt.

Es ist schwer vorstellbar, dass ein Marketing-Experimentierprogramm dies nicht als Kernexperiment-KPI verfolgt.

3. Aktivierungsrate

Wenn Sie mit Produktexperimenten beginnen, ist eines der ersten Dinge, die ein produktorientiertes Wachstumsunternehmen im Auge behalten sollte, die Aktivierungsrate.

Was ist die erste Aktion im Produkt, die sinnvoll ist und zeigt, dass der Benutzer engagiert ist, nachdem sich jemand angemeldet hat?

Einige Unternehmen haben dies einer bestimmten Aktion oder einer bestimmten Anzahl von Aktionen zugeordnet (Facebook hatte die berühmte 7-Freunde-in-7-Tage-Regel).

Dieser Moment wird typischerweise als „Aha-Moment“ bezeichnet, der Moment oder die Handlung, die den Benutzer veranlasst, den Wert des Produkts zu verstehen. Dieser Moment wird in der Regel sowohl durch qualitatives Feedback als auch durch die quantitative Fähigkeit entdeckt, diese Aktion mit längerer Bindung oder besseren Monetarisierungsraten zu korrelieren.

4. Monetarisierungsrate

Wie die Aktivierungsrate wird die Monetarisierungsrate häufig in produktorientierten Wachstumsunternehmen mit vielen Freemium-Nutzern oder zumindest mehreren eskalierenden Produktstufen verwendet.

In Freemium-Modellen ist diese Metrik diskret – passiert der kostenlose Benutzer die Barriere, um ein kostenpflichtiger Benutzer zu werden, oder nicht? In anderen Modellen kann diese Metrik fortlaufend sein – wenn beispielsweise ein Unternehmen wie AWS Gebühren basierend auf der Nutzung berechnet, ist es nicht so einfach, zwischen „bezahlten“ und „unbezahlten“ Konten zu unterscheiden.

5. Registrierungen für E-Mail-Listen

Die meisten Unternehmen erkennen an diesem Punkt den Wert des E-Mail-Marketings und den Aufbau einer soliden E-Mail-Liste. Besonders für Content-Vermarkter und Blogger ist die vielleicht interessanteste Makrokonvertierung die Umwandlung von Lesern in E-Mail-Abonnenten.

Das Malen mit einem Dollarwert erfordert einige Analysearbeit, aber wenn Sie über genügend historische Daten verfügen, können Sie einer bestimmten E-Mail, die Sie sammeln, normalerweise einen durchschnittlichen Umsatzwert zuweisen.

6. E-Mail-Aktivierungsrate

Die E-Mail-Aktivierungsrate ist eine unterschätzte Marketingkennzahl. Nur weil sich jemand für Ihre E-Mail-Liste anmeldet, bedeutet das nicht, dass er engagiert oder wertvoll ist.

Dies ist wie die „High Fit Lead“-Version des E-Mail-Marketings.

Sie können "Aktivierung" hier nach Belieben definieren, aber viele enthalten etwas wie "eine der ersten drei E-Mails geöffnet" oder eine andere Möglichkeit, um zu zeigen, dass die Person Ihre E-Mails tatsächlich liest und öffnet.

Kundenwertkennzahlen

Kundenwertmetriken sind in der Regel kontinuierliche Variablen, was ihre Verwendung als Testmetriken etwas schwieriger macht. Aber sie sind fast immer die beste Annäherung an den tatsächlichen Geschäftswert und können als große nachlaufende Indikatoren für Ihre Arbeit dienen.

7. Umsatz pro Besucher

Der Umsatz pro Besucher ist eine der besten zusammengesetzten Kennzahlen für E-Commerce. Nicht jeder wird etwas kaufen, aber einige werden es tun. Und einige derjenigen, die kaufen, kaufen eine große Menge des Produkts.

Der Umsatz pro Besucher stellt einen Durchschnittswert für jeden Website-Besucher dar, sodass Sie in diese Gleichung sowohl die Kaufgröße als auch die Anzahl der Kunden einbeziehen, die etwas kaufen.

8. Durchschnittlicher Bestellwert

Der durchschnittliche Bestellwert berechnet unter den Käufern die durchschnittliche Einkaufsgröße. Dies ist wiederum relevant für E-Commerce-Websites, auf denen Sie direkt vor Ort einkaufen können. Es könnte auch ASP (durchschnittlicher Verkaufspreis) bei B2B-Geschäften sein.

9. Anzahl der Käufe

Eine Art Aufbewahrungsmetrik für E-Commerce, mit der Sie die Anzahl der Käufe in einem bestimmten Zeitraum (Monat, Quartal, Jahr) verfolgen können.

Dies verfolgt Wiederholungskäufe und weist sowohl auf Website-Eigenschaften als auch auf Marketingkanäle hin, um mehr Wiederholungskäufer zu gewinnen (normalerweise E-Mail-Marketing und bezahlte Werbung). Dies ist eine ganzheitliche Metrik, die nicht nur für den Verkauf, sondern auch für den zweiten und dritten Verkauf optimiert werden soll.

10. Aufbewahrung

Bei SaaS-Produkten ist die Kundenbindung der Schlüssel zum Wachstum. Sie können Tausende von Benutzern dazu bringen, sich anzumelden, aber wenn sie nicht zahlen und weiter zahlen, werden Ihrem Unternehmen im Laufe der Zeit Einnahmen entgehen.

Während viele Dinge die Retention über das Produkt selbst hinaus beeinflussen, können Experimente auch dazu beitragen, die Nadel der Retention zu bewegen. Die Nachverfolgung der Kundenbindung als experimenteller KPI wird für viele Unternehmen jedoch etwas schwierig, da es sich um einen langen Feedback-Zyklus handelt.

11. Customer Lifetime Value

Schließlich die mystische Spitze der Pyramide, wenn es um zusammengesetzte Metriken geht: Customer Lifetime Value.

Dabei werden alle vorangehenden Metriken wie Monetarisierung oder durchschnittlicher Verkaufspreis, Kundenbindung (wie lange jemand ein zahlender Kunde bleibt) und auch durchschnittliche Konversionsraten berücksichtigt und dann eine zusammengesetzte Metrik unter Verwendung von Customer Lifetime Value-Formeln erstellt, um abzuschätzen, wie viel im Durchschnitt Ein Kunde ist Ihrem Unternehmen wert.

Dies ist natürlich sehr schwierig pro Experiment zu messen, aber als Geschäfts-KPI ist es wichtig, dies zu wissen.

Auf diese Weise können Sie Wege finden, den Produktwert zu steigern, und zeigen, wie machbar bestimmte Marketingkanäle und Werbekampagnen sein könnten.

Mikro-Conversions

1. Klickraten (vieler Arten)

Die Klickrate ist die Hauptart der Mikrokonversion. Ob von der Anzeige zur Zielseite oder von der Zielseite zur Anforderung einer Demoseite.

Im E-Commerce wird dies oft als Klickrate zur Produktseite oder vielleicht sogar als „In den Einkaufswagen“-Aktion oder Anzeigen des Einkaufswagens erfasst. Dies könnten auch so etwas wie E-Mail-Öffnungsraten oder E-Mail-Klickraten für E-Mail-Vermarkter sein. Ihr E-Mail-Marketing-Tool sollte Ihnen diese Informationen auf einfache Weise sowie die Möglichkeit geben, verschiedene Versionen A/B-testen zu können.

Natürlich müssen Sie von einem Ort aus klicken, um zum nächsten zu gelangen, daher sollte die Klickrate mit einem höheren Kauf- oder Konversionsvolumen korrelieren.

Aber wenn Sie nur die Klickrate als Ihren Test-KPI verfolgen, können Sie dies oft durch Kopieren oder UX-Tricks spielen.

Wie Lukas Vermeer es ausdrückt:

Die CTR ist schlecht für die Optimierung von Hotelbuchungen (z. B. EMK mit dem Betreff „GRATISBIER“ wird die CTR verbessern, aber wahrscheinlich den Umsatz reduzieren, wenn die Kunden feststellen, dass es auf Ihrer Website kein Bier gibt, schon gar kein Freibier).

Andrew Chen nennt dies die Bewahrung der Absicht und postuliert, dass dies einer der Gründe ist, warum A/B-Testergebnisse nicht in die Top-Line übertragen werden.

2. Link-Klicks

Link-Klicks sind genau das, wonach es sich anhört – die Anzahl der Personen, die auf einen bestimmten Link klicken. Dies ist eine weitere Kennzahl für die Klickrate, aber für bestimmte Unternehmen (z. B. Affiliates) ist das Klicken auf einen ausgehenden Link ein wichtiger Indikator für die Absicht.

Ich richte Link-Klick-Tracking immer auf Websites ein, mit denen ich arbeite, vor allem, weil es das Verhalten der Website-Benutzer und Optimierungsmöglichkeiten anzeigen kann.

Einige Experimente werden auch mit der Absicht eingerichtet, die Richtung des Benutzerverhaltens zu ändern (manchmal Zuordnung zu einer Makrokonvertierung, manchmal aber auch nur, um zu sehen, ob sie mehr Klicks zu einem neuen Modul führen können).

3. Video wird abgespielt

Wenn Sie ein Video auf einer Zielseite haben, ist es wichtig zu verfolgen, wie viele Personen das Video tatsächlich ansehen oder abspielen.

Ich habe jedoch Experimente gesehen, bei denen das Hinzufügen eines Videos die Conversions erhöht, ohne dass tatsächlich viele Besucher das Video selbst sehen. Wenn Sie dies nachverfolgen, empfehle ich dennoch, Ihre Experimente der Makro-Conversion auf der Seite zuzuordnen.

4. Videovervollständigungen

Es gibt an, wie viele Personen das Video abgespielt haben und wie weit die Personen das Video angesehen haben. Video Completions oder Video Completion Rate zeigt Ihnen, wie weit die durchschnittliche Person durch das Video kommt.

Auch dies kann wichtig sein, insbesondere auf Bildungsseiten, aber ich würde Ihnen trotzdem raten, einen geeigneteren Geschäfts-KPI wie die Lead-Conversion-Rate zu wählen. Sie können die Fertigstellung von Videos immer noch nachverfolgen, und das sollten Sie wahrscheinlich auch, aber nur weil sich jemand ein ganzes Video ansieht, bedeutet das nicht unbedingt, dass er mit größerer Wahrscheinlichkeit konvertiert.

5. Ansichten der Produkttour

Für viele B2B-Unternehmen, die keinen Freemium- oder kostenlosen Testplan haben, ist eine eingeschränkte interaktive Produkttour eine großartige Möglichkeit, den Besuchern zu zeigen, wie das Produkt tatsächlich aussieht und sich anfühlt.

Hier ist ein Beispiel für die Produkttour von Pendo:

Als KPI sollten Sie dies wie Videoansichten oder jede Art von Werbemodulansichten behandeln. Sie können zwar mit eher geschäftsorientierten KPIs wie der Konversionsrate korrelieren und tun dies auch oft, aber nicht immer. Verfolgen Sie also diese Dinge, aber messen Sie auch Ihre Makro-Conversion als primären Test-KPI.

6. Abschlussrate der Produkttour

Wiederum gibt es diejenigen, die sich eine Produkttour ansehen und sofort abspringen, und diese Besucher sind anders als diejenigen, die sich eine Produkttour ansehen und sie abschließen. Vielleicht gibt es eine Korrelation zwischen den Abschlussraten der Produkttour und der Konversionsrate, aber möglicherweise gibt es auch keine.

Wenn Sie die Produkttour wie ein Produkt an sich behandeln, ist es natürlich wichtig zu sehen, wie viele Personen sie absolvieren. Dies ist eine gute UX-Metrik für die Produkttour.

7. Preise für Seitenaufrufe

Die meisten B2B-Käufer besuchen vor dem Kauf die Preisseite, obwohl es wichtig ist, wann sie diese Seite während der Customer Journey besuchen. So viele Vermarkter verfolgen die Klickrate auf der Preisseite als Mikrokonversion.

Es ist so etwas wie die Add-to-Cart-Version, die es in der E-Commerce-Optimierung gibt.

Eingabemetriken für Experimente

Eingabemetriken in Ihrem Experimentierprogramm werden auf Programmebene definiert. Sie verfolgen nicht direkt den Umsatz, aber es handelt sich um Aktionen, die mit Verbesserungen Ihrer Ausgabekennzahlen korrelieren.

In den meisten Fällen versuchen Ihre Eingabemesswerte für Experimente entweder, den Ertrag Ihrer Experimente zu steigern oder die Kosten für die Durchführung von Experimenten (durch erhöhte Effizienz) zu senken.

Ich werde hier 6 Eingabemesswerte für Experimente durchgehen.

1. Versuchsgeschwindigkeit

Die Experimentgeschwindigkeit misst, wie viele Experimente Sie in einem bestimmten Zeitraum starten.

Im Allgemeinen sind die drei Eingabemetriken, die die Grundlage Ihres ROI bilden, wie viele Experimente Sie durchführen, wie viel Prozent davon Gewinner sind und wie hoch der durchschnittliche Gewinn ist.

Einfach ausgedrückt: Wenn Sie mehr Experimente (oder mehr Varianten pro Experiment) durchführen, erhöht sich die Chance, dass Sie einen Gewinner erhalten (vorausgesetzt, es handelt sich um qualitativ hochwertige Experimente).

Die Erhöhung der Experimentgeschwindigkeit ist auch eine großartige Zwangsfunktion; Es hilft Ihnen zu sehen, wo Entwicklungs- und Produktionsengpässe auftreten und wo Sie zusätzliche Ressourcen benötigen.

2. Schlussrate

Für mich gibt es nichts Entmutigenderes als eine Reihe ergebnisloser Experimente. Ich sehe manchmal lieber einen schlüssigen Verlust als einen nicht schlüssigen Test, denn dann kann ich zumindest andeuten, dass das, was ich teste, für die Benutzererfahrung von Bedeutung ist.

Daher fangen einige Leute an, schlüssige Raten zu verfolgen – die Anzahl schlüssiger Experimente aus allen von Ihnen durchgeführten Experimenten.

Wenn sich Ihr Programm in einem früheren Stadium befindet oder Sie viele nicht schlüssige Experimente mit wenig Lernen durchführen, könnte dies eine gute Metrik sein, um Sie aus diesem Trott zu zwingen.

3. Gewinnrate

Wir alle wollen erfolgreiche Experimente durchführen. Ein Teil des Experimentierens besteht darin, zu akzeptieren, dass sie nicht alle Gewinner sein werden (wenn sie es wären, müssen Sie sich fragen, wie viel niedrig hängende Früchte Sie anpacken, anstatt neue innovative Dinge auszuprobieren).

Die Gewinnrate zeigt Ihnen, wie viele der von Ihnen durchgeführten Experimente Gewinner sind?

Wenn Sie die Anzahl der Experimente erhöhen und Ihre Gewinnrate beibehalten, steigt Ihr ROI (unter der Annahme von Grenzkosten für die Durchführung weiterer Experimente). Wenn Sie Ihre Experimentgeschwindigkeit beibehalten, aber Ihre Gewinnrate erhöhen, steigt auch Ihr ROI.

Dies ist ein wichtiger Hebel zur Verbesserung des ROI von Experimenten.

4. Durchschnittlicher Anstieg pro Gewinn

Zu guter Letzt, was ist der durchschnittliche Uplift der Siegerexperimente, mit denen sie gewinnen?

Dies ist sehr schwer zu kontrollieren, denn wenn wir das Ausmaß eines Experiments vorhersagen könnten, müssten wir es nicht durchführen.

Es ist jedoch gut, es zu verfolgen, da es wie die Experimentgeschwindigkeit und die Gewinnrate ein klarer Frühindikator für den Wert Ihres Experimentierprogramms ist.

Darüber hinaus kann die Schaffung größerer Gewinne oft dazu führen, dass Vermarkter und Produktvermarkter über den Tellerrand hinaus denken und größere, innovativere Experimente ausprobieren.

5. Entwicklungszeit

Ich unterteile meinen Experimentprozess in verschiedene Schritte.

Typischerweise sieht der Arbeitsablauf so aus:

Experimentidee > Experimentdokument > Wireframe > Design > Entwicklung > QA > Test ausführen > Analysieren > Dokumentieren > Push-to-Production

Ich lege in der Planungsphase geschätzte Fälligkeitsdaten für jeden Schritt fest und berechne dann das Delta zwischen dem erwarteten Fälligkeitsdatum und dem tatsächlichen. Wenn der Unterschied zu groß ist, zeigt dies mir, dass wir möglicherweise einen Prozessengpass haben.

Meistens geschieht dies in der Design- oder Entwicklungsphase.

Wenn Sie diese Phasen verbessern können, können Sie Ihren Experimentdurchsatz erhöhen, was einer der wichtigsten Eingabe-KPIs ist, die wir uns ansehen.

6. Zeit bis zur Produktion

Ähnlich wie die Entwicklungszeit misst die Zeit bis zur Produktion eine Phase des Experimentprozesses: wie lange es dauert, von der Analyse eines erfolgreichen Experiments bis zur Live-Implementierung im Produkt oder auf Ihrer Website zu gehen.

Diese Phase wird oft unterschätzt. Experimentatoren werden einen Sieg feiern und dann zum nächsten übergehen, aber wie schnell etwas implementiert wird, ist wichtig. Zum einen reduziert es das Bedauern – die Zeit, in der Sie mit einer suboptimalen Variante operieren.

Zweitens können Sie durch Verbesserungen in dieser Phase immer mehr Entwicklerzeit auf die Einrichtung nachfolgender Experimente verwenden.

Zusammensetzungsmetriken und das Gesamtbewertungskriterium

Es gibt ein Konzept beim Experimentieren, das als allgemeines Bewertungskriterium bekannt ist. Man könnte es auch als North Star-Metrik bezeichnen.

Dies ist eine Metrik, die Leitplankenmetriken berücksichtigt (dh zu beobachtende und zu berücksichtigende Metriken, die Schäden oder Einbußen bei der Benutzererfahrung implizieren können). Leitplankenmetriken können Dinge wie Absprungrate, Ausstiegsrate oder sogar Einstellungswerte wie NPS oder CSAT umfassen.

Die Gesamtbewertung kombiniert manchmal auch einige wenige unterschiedliche Output-Metriken zu einer einzigen Erfolgsmetrik.

Diese Metriken sind fast nie kurzfristige Indikatoren wie Klicks, sondern verfolgen eher ein makroökonomisches Ziel.

Ronny Kohavi nannte diese Beispiele „gekaufte Einheiten, Umsatz, Gewinn, erwarteter Lebenszeitwert oder eine gewichtete Kombination davon“.

Obwohl die Erstellung eines allgemeinen Bewertungskriteriums wünschenswert ist, erfordert dies in der Regel viel Data-Engineering-Arbeit, insbesondere wenn Ihr Geschäftsmodell ein Marktplatz oder etwas weniger Einfaches als E-Commerce ist (obwohl es selbst in diesem Fall schwierig ist, den Customer Lifetime Value zu verfolgen auf einer Pro-Experiment-Basis).

Der allgemeinere Punkt ist jedoch folgender: Je näher Sie der Bildung eines umfassenden Erfolgsindikators kommen – einem, der sowohl den langfristigen Geschäftswert als auch die Berücksichtigung von Leitplankenmetriken berücksichtigt – desto klarer werden Ihr Experimentprogramm und seine Ziele sein.

So wählen Sie Experimentierziele und KPIs aus

Okay, wir sind etwa ein Dutzend Ausgabemetriken und mehrere Eingabemetriken durchgegangen.

Die Frage ist also, wie Sie und Ihr Unternehmen entscheiden, worauf Sie sich konzentrieren möchten – denn es *ist* eine Wahl, und aus dieser Wahl werden alle Arten von Anreizen, Verhaltensweisen und Aktionen hervorgehen.

Der beste Weg, den ich mir ausgedacht habe, um Ihre Metriken, Ziele und KPIs auszuwählen, besteht darin, einen Zielbaum zu erstellen.

Speero hat hier ein großartiges Beispiel für eine Zielbaum-Visualisierung:

Darin beginnen sie mit Zielen auf Unternehmensebene, zu denen Kennzahlen zur Kundenzufriedenheit gehören. Dies fließt in Ziele auf Teamebene ein, die sich auf die erfolgreiche Entwicklung von Funktionen konzentrieren. Dann verlangsamt es sich in Ziele auf persönlicher Ebene, die sich auf das Testen und Entwickeln neuer Funktionsvorschläge konzentrieren.

Ich glaube, dass alle Team- und persönlichen Ziele direkt die Unternehmensziele widerspiegeln und dazu beitragen sollten. Dies ist Ausrichtung, und wenn Sie Ergebnisse erzielen, die zu den Unternehmenszielen beitragen, werden Sie viel mehr Begeisterung für Ihr Programm haben, weil Sie einen echten ROI für die Unternehmensmission zeigen.

Wie das in Ihrem Unternehmen aussehen wird, hängt von vielen Faktoren ab. Wichtig ist, dass Sie diese Übung durchgehen und kritisch überlegen, welche Ziele Sie wählen.

Fazit

Wie Sie Ihre Ziele beim Experimentieren definieren, wirkt sich auf fast alle Aktionen aus, die diesen Zielen nachgelagert sind.

Theoretisch gibt es Tausende von Metriken, die Sie sowohl auf Output- als auch auf Input-Ebene verfolgen könnten. Die Auswahl der richtigen Metriken, nicht nur zum Nachverfolgen, sondern auch zum Messen der Effektivität Ihrer Experimente oder Ihres Programms, ist für den Erfolg Ihres Programms von entscheidender Bedeutung.

In Wirklichkeit glaube ich also, dass Sie sich dafür entscheiden sollten, sich auf so wenige Metriken wie möglich zu konzentrieren. Dies ermöglicht eine Konzentration, gibt Ihnen aber auch die Zeit, diese im Laufe von Monaten oder Jahren zu verbessern.

Ich unterteile meine Ziele gerne in zwei Kategorien: Input- und Output-Metriken. Output-Metriken sind das, wonach ich meine einzelnen Experimente oder die Ergebnisse meines Experimentierprogramms beurteile. Sie sind das, was ich dem Team und den Führungskräften berichte.

Input-Metriken helfen mir, ein effektiveres Programm zu erstellen. Daran beurteile ich meine eigene Leistung und die meines Teams.

Wie definieren Sie Experimentiermetriken für Ihr Programm? Konzentrieren Sie sich auf Input-Metriken oder nur auf Outputs und Ergebnisse?