實驗中的輸入與輸出指標：如何選擇要測量的內容

您為實驗計劃定義和跟踪的指標非常重要。

您測量的內容決定了您的關注點。 他們說“你無法管理你不衡量的東西”。

雖然這是完全正確的（即使你不看體重秤，你當然可以減肥），但它在方向和實踐上都是正確的（如果你看體重秤，減肥會容易得多）。

我花了很多時間思考在實驗中哪些指標很重要。

更重要的是，我花了很多時間思考輸入指標和輸出指標。

輸入和輸出指標有什麼區別？

輸入指標是領先指標，您可以直接控制。 通常，他們跟踪工作量、資源分配和運營效率。

輸入度量的想法是它們與輸出度量相關。

雖然您無法非常準確地預測，具體來說，您的總轉化率是多少，但您可以輕鬆控制您正在運行的實驗數量、將勝利推向生產的效率，以及在一定程度上，您的勝利率是多少和平均獲勝規模。

這些東西可以而且應該映射到您的輸出指標，這些指標通常是利益相關者關心的數字業務指標。 從 ROI 的角度來看，它們是顯示您在實驗中投入的所有努力是否真正得到回報的數字。

因為輸出指標關注業務成果，所以我將首先介紹這些——原因是您的輸出指標應該決定您的輸入指標。

簡而言之，您的輸出指標對業務至關重要，而您的輸入指標是您可以控制以獲得這些結果的槓桿。

實驗輸出指標

輸出指標是你向老闆展示的。 它們與您的實驗計劃的價值相關聯，並表明總體而言，您正在產生積極的投資回報率。

實際上，實驗輸出指標可以是您可以測量的任何量化指標。 在大多數情況下，這是一個離散或二元指標，如轉化率，但有時它是一個連續指標，如每位訪問者的收入。

在所有情況下，您都希望將最能代表業務價值的輸出指標映射出來。

將實驗指標分為兩類：微觀轉化和宏觀轉化（也稱為主要和次要指標） 。

微觀轉化與宏觀轉化（和監控指標）

A/B 測試領域的常見建議是針對宏觀轉換進行優化。

宏觀轉換雖然由您和您的企業定義，但最接近金錢。 在電子商務中，這是每個訪問者的購買量或收入。 在 B2B 中，這可能是高質量的潛在客戶轉換，也可能是免費增值軟件的產品註冊。

無論如何，您都可以將微轉化直接映射到收入，因此，這些實驗中的投資回報率很容易衡量和證明努力的合理性。

微轉換是導致宏轉換的那些動作，並且往往與宏轉換完成密切相關。

在電子商務中，微轉化可以是添加到購物車、橫幅點擊，甚至是電子郵件列表註冊。 在 B2B 中，它們可能是對定價頁面的點擊、CTA 點擊或電子郵件列表註冊。

還有監控指標或護欄指標。 這些是質量指標，您可能不以改進為目標，但以不損害為目標。 因此，如果一個實驗提高了轉化率，但也提高了產品退貨或退款率，您可能不會將該實驗推向生產。

這兩個類別之間沒有普遍和客觀的劃分，儘管有一些明顯的斷層線。 也就是說，轉換是否直接為您的業務帶來收入？

我將在這裡介紹 18 個輸出指標，將它們分為宏觀和微觀轉換。 最後，我們將討論如何為您的業務選擇正確的輸出目標。

宏轉換

轉化率指標（任何類型）

轉化率是最常見的輸出指標，但對於許多不同類型的業務來說，它可能意味著很多事情。

從根本上說，這只是意味著您試圖增加觀看體驗並在觀看該體驗後完成所需操作的人的比例。

1. 潛在客戶轉化率

最常見的轉化率類型之一是潛在客戶轉化率。

這是註冊成為潛在客戶的網站訪問者的比例。 “潛在客戶”的定義當然取決於您的業務。 在某些情況下，是註冊請求演示的人。

有時，企業會進一步深入挖掘，只計算“合格”的線索，這是基於數據豐富或各種維度的過濾來確定某人是否適合該產品。

其他企業將計算營銷合格的潛在客戶，例如註冊網絡研討會或下載白皮書的訪問者。

2. 產品註冊或購買

產品註冊是明確的宏觀轉換。 如果您銷售實物商品，這是購買它們的人。 如果您是一家免費增值 SaaS 公司，這是第一次進入您的產品的人。

很難想像一個營銷實驗計劃不將其作為核心實驗 KPI 進行跟踪。

3.激活率

進入產品實驗，對於以產品為主導的成長型公司來說，首先要記住的事情之一就是激活率。

有人註冊後，產品中的第一個有意義且表明用戶參與的操作是什麼？

一些公司將此映射到特定的操作或操作數量（Facebook 有著名的 7 天 7 朋友規則）。

這個時刻通常被稱為“aha 時刻”，即讓用戶了解產品價值的時刻或動作。 這個時刻通常是通過定性反饋和定量能力來發現的，以便將此操作與更長的保留時間或更好的貨幣化率相關聯。

4、變現率

與激活率一樣，貨幣化率通常用於以產品為主導的成長型公司，這些公司擁有許多免費增值用戶，或者至少有幾個不斷升級的產品層級。

在免費增值模式中，這個指標是離散的——免費用戶是否通過了成為付費用戶的障礙？ 在其他模型中，該指標可能是連續的——例如，如果一家公司根據 AWS 等使用情況收費，它並不像區分“付費”和“非付費”賬戶那麼簡單。

5. 電子郵件列表註冊

此時大多數企業都意識到電子郵件營銷和建立可靠的電子郵件列表的價值。 特別是對於內容營銷人員和博主來說，最有趣的宏觀轉換可能是將讀者轉換為電子郵件訂閱者。

用美元值繪製這個需要一些分析工作，但如果您有足夠的歷史數據，您通常可以為您收集的給定電子郵件分配平均收入值。

6.電子郵件激活率

電子郵件激活率是一個被低估的營銷指標。 僅僅因為有人註冊您的電子郵件列表並不意味著他們參與或有價值。

這就像電子郵件營銷的“高匹配潛在客戶”版本。

您可以在此處根據需要定義“激活”，但許多將包括“打開前三封電子郵件中的一封”之類的內容或其他方式來表明該人實際上正在閱讀和打開您的電子郵件。

客戶價值指標

客戶價值指標通常是連續變量，這使得它們更難用作實驗指標。 但它們幾乎總是最接近實際商業價值，它們可以作為您工作的重要滯後指標。

7. 每位訪客的收入

每個訪問者的收入是電子商務的最佳綜合指標之一。 不是每個人都會購買東西，但有些人會。 並且一些購買者會購買大量產品。

每個訪問者的收入對每個網站訪問者都具有平均值，因此您在此等式中包括了購買規模以及購買的客戶數量。

8.平均訂單價值

平均訂單價值計算在已購買的人中，平均購買量是多少。 這再次與您可以直接在現場購買的電子商務網站相關。 它也可能是 B2B 交易中的 ASP（平均售價）。

9. 購買次數

電子商務的一種保留指標，您可以跟踪給定時間段（月、季度、年）內的購買次數。

這跟踪重複購買，並表明網站特徵以及營銷渠道以推動更多重複購買者（通常是電子郵件營銷和付費廣告）。 這是一個整體指標，不僅旨在優化銷售，還旨在優化第二次和第三次銷售。

10. 保留

在 SaaS 產品中，客戶保留是增長的關鍵。 您可以吸引成千上萬的用戶註冊，但如果他們不付款並繼續付款，您的業務將隨著時間的推移而流失收入。

雖然許多因素會影響產品本身之外的留存率，但實驗也可以幫助推動留存率。 然而，對於許多企業來說，將留存率作為一項實驗性 KPI 進行跟踪變得有些困難，因為它是一個很長的反饋週期。

11. 客戶終身價值

最後，關於復合指標的神秘金字塔頂端：客戶生命週期價值。

這會考慮到所有前面的指標，例如貨幣化或平均售價、留存率（某人成為付費客戶的時間）以及平均轉化率，然後使用客戶生命週期價值公式構建一個複合指標，以估計平均有多少，客戶對您的業務有價值。

這顯然是很難在每個實驗的基礎上衡量的，但作為業務 KPI，了解這一點很重要。

這可以讓您找出增加產品價值的方法，並展示某些營銷渠道和廣告活動的可行性。

微轉化

1.點擊率（多種類型）

點擊率是微轉化的主要類型。 無論是從廣告到著陸頁，還是從著陸頁到請求演示頁。

在電子商務中，這通常被跟踪為產品頁面的點擊率，甚至可能是“添加到購物車”操作或查看購物車。 這也可能是電子郵件營銷人員的電子郵件打開率或電子郵件點擊率。 您的電子郵件營銷工具應該可以輕鬆地為您提供這些信息，以及 A/B 測試不同版本的能力。

當然，您必須從一個位置點擊才能到達下一個位置，因此點擊率應該與更高的購買量或轉化量相關。

但是，如果您僅將點擊率作為您的實驗 KPI 進行跟踪，您通常可以通過複製或 UX 欺騙來進行遊戲。

正如盧卡斯·維米爾（Lukas Vermeer）所說，

CTR 對於優化酒店預訂來說很糟糕（例如，帶有“FREE BEER”主題的 EMK 會提高 CTR，但一旦客戶發現您的網站上沒有啤酒，當然不是免費啤酒，可能會降低銷售額）。

Andrew Chen 將其稱為意圖守恆，並認為這是 A/B 測試結果不能轉化為最重要的原因之一。

2.鏈接點擊

鏈接點擊量就是它聽起來的樣子——點擊給定鏈接的人數。 這是另一個點擊率指標，但對於某些企業（即附屬公司），點擊出站鏈接是一個重要的意圖指標。

我總是在與我合作的網站上設置鏈接點擊跟踪，主要是因為它可以指示網站用戶行為和優化機會。

一些實驗也旨在改變用戶行為的方向（有時映射到宏轉換，但有時只是看看它們是否可以為新模塊帶來更多點擊）。

3.視頻播放

如果您的目標網頁上有視頻，那麼跟踪實際觀看或播放視頻的人數很重要。

但是，我已經看到了一些實驗，其中僅添加視頻就可以增加轉化率，而實際上並沒有很多訪問者觀看視頻本身。 因此，如果您正在跟踪這一點，我仍然建議您將您的實驗映射到頁面上的宏轉換。

4.視頻完成

有多少人播放了視頻，以及人們觀看視頻的距離。 視頻完成率或視頻完成率顯示了普通人觀看視頻的程度。

同樣，這可能很重要，尤其是在教育頁面上，但我仍然建議您選擇更合適的業務 KPI，例如潛在客戶轉化率。 您仍然可以跟踪視頻完成情況，而且您可能應該這樣做，但僅僅因為有人觀看了整個視頻並不一定意味著他們更有可能進行轉換。

5. 產品遊覽視圖

對於許多沒有免費增值或免費試用計劃的 B2B 公司來說，有限的交互式產品導覽是向訪問者展示產品實際外觀和感覺的好方法。

以下是 Pendo 產品之旅的示例：

作為 KPI，您應該將其視為視頻視圖或任何類型的促銷模塊視圖。 雖然它們可以並且經常與更以業務為中心的 KPI（如轉化率）相關聯，但它們並非總是如此。 所以跟踪這些東西，但也要衡量你的宏觀轉換作為主要的實驗 KPI。

6.產品巡演完成率

同樣，有些人查看產品導覽並立即反彈，這些訪問者與查看產品導覽並完成它的訪問者不同。 產品遊覽完成率和轉化率之間可能存在相關性，但也可能不存在相關性。

如果您將產品導覽視為產品本身，那麼查看有多少人完成它當然很重要。 這是產品之旅的一個很好的用戶體驗指標。

7. 定價頁面瀏覽量

大多數 B2B 買家會在購買前訪問定價頁面，儘管在他們訪問此頁面的客戶旅程中這很重要。 如此多的營銷人員將跟踪定價頁面的點擊率作為微轉換。

它有點像電子商務優化中存在的添加到購物車版本。

實驗輸入指標

實驗程序中的輸入指標是在程序級別定義的。 它們不直接跟踪收入，但它們是與您的輸出指標改進相關的操作。

在大多數情況下，您的實驗輸入指標將嘗試增加實驗的回報或降低運行實驗的成本（通過提高效率）。

我將在這裡運行 6 個實驗輸入指標。

1. 實驗速度

實驗速度衡量您在給定時間段內啟動了多少實驗。

通常，構成投資回報率基礎的三個輸入指標是您運行了多少實驗，其中獲勝者的百分比以及平均獲勝率是多少。

簡而言之，運行更多實驗（或每個實驗更多變體）會增加您獲得獲勝者的機會（前提是它們是高質量的實驗）。

增加實驗速度也是一個很好的強制函數； 它可以幫助您了解開發和生產瓶頸出現在哪里以及您需要額外資源的地方。

2. 最終率

對我來說，沒有什麼比一連串不確定的實驗更令人沮喪的了。 有時我寧願看到一個決定性的損失而不是一個不確定的測試，因為至少我可以暗示我正在測試的東西對用戶體驗很重要。

因此，有些人開始跟踪結論性的比率——你運行的所有實驗中結論性實驗的數量。

如果您的程序處於早期階段，或者您似乎在進行大量沒有結果的實驗而幾乎沒有學習，那麼這可能是一個很好的指標，可以迫使您擺脫這種陳規。

3.勝率

我們都想進行成功的實驗。 實驗的一部分是接受他們不會都成為贏家（如果他們是，你需要質疑你正在解決多少容易實現的目標而不是嘗試新的創新事物）。

贏率告訴你，在你進行的實驗中，有多少是贏家？

如果您增加實驗次數並保持勝率，您的投資回報率就會增加（假設運行更多實驗的邊際成本）。 如果您保持實驗速度但提高勝率，您的投資回報率也會提高。

這是提高實驗投資回報率的關鍵槓桿。

4. 每場胜利的平均提升

最後，在你運行的獲勝實驗中，他們獲勝的平均提升是多少？

這很難控制，因為如果我們可以預測實驗的規模，那麼我們就不需要運行它了。

但是，跟踪是很好的，因為與實驗速度和勝率一樣，它是您的實驗計劃價值的明確領先指標。

此外，激勵更大的勝利通常會導致營銷人員和產品營銷人員跳出框框思考並嘗試更大、更具創新性的實驗。

5. 開發時間

我將我的實驗過程分解為不同的步驟。

通常，工作流程如下所示：

實驗想法 > 實驗文檔 > 線框 > 設計 > 開發 > QA > 運行測試 > 分析 > 文檔 > 推送到生產

我在計劃階段為每個步驟設置了預計到期日，然後計算預期到期日與實際到期日之間的差值。 如果差異太大，這表明我們可能存在流程瓶頸。

大多數情況下，這將出現在設計或開發階段。

如果您可以改進這些階段，就可以提高實驗吞吐量，這是我們關注的關鍵輸入 KPI 之一。

6. 生產時間

與開發時間類似，生產時間衡量的是實驗過程的一個階段：從分析一個成功的實驗到在產品中或在您的網站上實施它需要多長時間。

這個階段經常被低估。 實驗者會慶祝勝利，然後繼續下一個，但是你能多快實現一些東西是很重要的。 一方面，它減少了遺憾——您使用次優變體操作的時間。

其次，在這個階段進行改進可以讓您將越來越多的開發人員時間集中在設置後續實驗上。

構成指標和總體評價標準

實驗中有一個概念被稱為總體評估標準。 人們也可以將其稱為北極星指標。

這是一個考慮了護欄指標（即，要觀察和考慮的指標可能意味著損害或用戶體驗損失）的指標。 Guardrail 指標可能包括跳出率、退出率，甚至 NPS 或 CSAT 等態度分數。

整體評估有時還會將幾個不同的輸出指標組合成一個單一的成功指標。

這些指標幾乎從來都不是點擊次數等短期指標，而是跟踪一些宏觀業務目標。

Ronny Kohavi 舉了這些例子，“購買的單位、收入、利潤、預期的生命週期價值，或者這些的一些加權組合。”

雖然創建一個整體評估標準是可取的，但它通常需要大量的數據工程工作，特別是如果您的業務模型是市場或比電子商務不那麼簡單的東西（儘管即使在這種情況下，也很難跟踪客戶的終身價值）每個實驗的基礎）。

然而，更廣泛的觀點是：您越接近形成一個全面的成功指標——一個考慮到長期商業價值和護欄指標的指標——你的實驗計劃及其目標就越清晰。

如何選擇實驗目標和 KPI

好的，我們瀏覽了十幾個輸出指標和幾個輸入指標。

那麼，問題是您和您的企業如何選擇關注什麼——因為它*是*一種選擇，並且從該選擇中會產生各種激勵、行為和行動。

我想出的選擇指標、目標和 KPI 的最佳方法是創建目標樹。

Speero 在這裡有一個很好的目標樹可視化示例：

其中，他們從公司層面的目標開始，其中包括客戶滿意度指標。 這流入了團隊級別的目標，該目標專注於成功的功能開發。 然後它會放慢到個人層面的目標，重點是測試和構思新的功能建議。

我相信所有的團隊和個人目標都應該直接反映並為公司目標做出貢獻。 這是一致的，當您取得有助於公司目標的結果時，您會對您的計劃感到更加興奮，因為您展示了對公司使命的真正投資回報率。

這在您的公司中將如何看待取決於許多因素。 重要的是通過這個練習並批判性地思考你選擇的目標。

結論

您在實驗中定義目標的方式會影響這些目標下游的幾乎所有操作。

理論上，您可以在輸出和輸入級別上跟踪數千個指標。 選擇正確的指標，不僅是為了跟踪而且衡量你的實驗或項目的有效性，對項目的成功至關重要。

所以在現實中，我相信你應該選擇盡可能少地關注指標。 這允許集中註意力，但它也讓您有時間在幾個月或幾年的過程中改進這些。

我喜歡將我的目標分為兩類：輸入和輸出指標。 輸出指標是我判斷我的個人實驗或我的實驗計劃的結果。 他們是我向團隊和高管報告的內容。

輸入指標幫助我建立一個更有效的程序。 他們是我判斷我自己和我團隊的努力的依據。

您如何為您的程序定義實驗指標？ 您是關注輸入指標，還是只關注輸出和結果？