如何在 A/B 測試報告中展示 Shopify 指標以提供明確的價值

創建出色的 Shopify A/B 測試報告有兩個主要方面 - 選擇正確的指標並知道如何呈現它們。

您選擇的指標會影響測試的輸出並定義整個優化程序的重點。

PS 不要選擇太多的指標。 使用金發姑娘規則：不要太多也不要太少。 太多了，你會在每個實驗中找到一個“贏家”。 太少，您將失去潛在的學習能力，並可能對其他關鍵指標產生負面影響。

在您的 Shopify 報告中呈現這些指標時，請考慮全面但精簡。 將視覺效果與數字結合起來，以便突出顯示關鍵變化以及導致變化的指標的趨勢或模式。

如果沒有一份報告向領導層提供有意義的發現，就很難獲得更多實驗的支持或證明 A/B 測試的投資回報率。

也許你的學習是你避免的所有風險，因為你沒有推出你在失去一個變化時獲得的壞想法或見解，但一個部分顯示出希望或一個指標以意想不到的方式移動。 現在您需要通過實驗了解為什麼會發生這種情況並證明因果關係。

底線：創建一個易於解釋的報告，並幫助實驗團隊清楚地向利益相關者傳達努力的價值——實際的勝利、學習和見解。

在 A/B 測試中跟踪的頂級 Shopify 指標及其含義

雖然您應該跟踪的指標取決於您的假設，但以下是 Shopify 的一些指標，您應該考慮密切關注

• Total orders : 下單的數量

• 總銷售額：總金額按銷售渠道分類
  公式：總銷售額 - 折扣 - 退款 + 運費 + 稅金

• 熱門登陸頁面：顯示客戶開始會話的頁面。
  
• 平均訂單價值：所有訂單的平均值（減去禮品卡）除以訂單總數。

• 在線商店轉化率：產生訂單的會話百分比
  
  
  • 添加到購物車：客戶將至少一件商品添加到購物車的會話數量和百分比。
    公式： （（已查看購物車項目的會話數）/（總會話數））*100
  • 到達結賬：購物者將至少一件商品添加到購物車、到達結賬並執行操作的會話數和百分比。
  • 轉換的會話數：購物者將至少一件商品添加到購物車、到達結賬處然後進行購買的會話數和百分比。
• 放棄購物車率：客戶在結賬前放棄購物車的百分比。
  公式： (1 – (完成購買次數/發起銷售次數))*100

• 跳出率：單次參與會話的百分比
  公式：總一頁會話數/總入口訪問量

您還可以按位置跟踪新客戶、回頭客、推薦渠道（SEO、社交媒體、直接或電子郵件）和銷售情況。

我們通過 HARO 向 50 多名 Shopify 優化人員詢問了他們更喜歡跟踪的指標，並出現了一些明顯的最愛：

• 轉化率 (CR)
• 點擊率 (CTR)
• 轉化價值
• 頁面停留時間
• 跳出率
• 滾動深度
• 參與特定頁面 - 例如目錄/類別頁面
• 站點導航深度
• 頁面瀏覽量
• 元素視圖
• 添加到購物車
• 淨購買
• 結帳時間
• AOV
• NPS（購買後）
• 每位訪客的平均收入
• 廢棄購物車率
• 淨利

現實情況是，在跟踪指標方面，沒有一刀切的答案。 要跟踪的最重要指標將根據您的具體目標和目的而有所不同。

對於某些 Shopify 商店，它可能如下所示：

我最喜歡在 Shopify 商店中跟踪的一些目標是

1. 提高廣告點擊率。
2. 增加特定產品的銷售。
3. 改進主頁的導航。

Jessica Kats，Soxy 的電子商務和零售專家

Shopify 分析：您應該特別注意的 3 個指標

在 Convert，我們要求 Shopify 店主特別注意 3 個指標：

1. 轉化率（CR） ——冒著明顯的風險，你的轉化率可以很好地表明你的實驗成功或失敗。 最終，您想要更多的銷售額和增加的收入。 但是，如果您不嘗試衡量您的行為如何影響人們在您的網站上採取的行動，那麼這可能不是最佳指標。
   
   繼續閱讀以找出最重要的指標！

2. 平均訂單價值 (AOV) ：雖然 AOV 不是最完整的指標，但您仍應考慮對其進行監控。 它是不同細分市場盈利能力的一個指標——一個廣泛的指標，用於量化人們從不同類別中購買的數量。
   將其用作您的主要電子商務指標時，請確保：
   
   
   • 跨 SKU 監控 AOV
   • 您跟踪來自分銷商的訂單和批量訂單，因為它可能會導致 AOV 失敗
   • AOV 不表示利潤，因為它沒有減去銷售成本，這是一項重大費用。

3. 每位訪問者的平均收入 (ARPV)：與將訂單作為隨機單元的 AOV 不同，因此很難正確測試，ARPV 使用訪問者作為隨機單元，這很實用。
   
   ARPV 是最重要的跟踪指標，因為它由 CR 和 AOV 組成。

Omniscient Digital 的聯合創始人 Alex Birkett 也同意：

你的實驗目標對於你的實驗設計和你最終從實驗中學到的東西都非常重要。

在太多的公司裡，“轉化率”這個簡單的比例指標是通用的實驗目標。 如果您想了解您的干預是否會增加採取行動的人的比例，例如在您的網站上購買*任何東西*，那麼這很好，但如果這不是您想要學習的，或者如果那不是您想要的針試圖移動，這不是最好的指標。

我合作過的許多 Shopify 網站都想要
a) 增加購買者的購買規模（或平均訂單價值 - AOV）或
b) 提高​​訪問者在一組頁面上的平均價值。

對於前者，您需要設置 AOV 和收入跟踪。 這些需要與您的購物車集成，但包括 Convert 在內的大多數測試工具都與 Shopify 進行了原生集成。

Convert 還有一個完整的 AOV 優化指南，您可以查看。

當我針對 AOV 進行優化時，我還會跟踪轉化率，以確保我不會損害該指標。

但我將其視為一個護欄指標。

如果我可以在保持基線轉化率的同時增加 AOV，我會將實驗交付生產。 我還可以計算轉化率確實下降一點的情況下的邊際價值，但平均訂單價值通過增加實驗的每位訪客的平均收入來彌補它。

這讓我想到了 Shopify 的第二個事後報告工具：每位訪客的平均收入。

一些人認為，這是最終的電子商務商店轉換優化指標，因為它是一個複合指標，可以通過增加轉換或增加每次轉換的價值（即平均訂單價值）來影響。

平均訂單價值和每位訪客的平均收入給報告帶來了一些額外的複雜性。

轉換率是一個二元指標，可以被視為一個分類變量（通過/失敗，轉換或不轉換），並且可以使用卡方檢驗之類的方法進行分析。

平均訂單價值是一個連續變量，並且經常受到異常值的影響（例如，有人進來併購買了正常購買量的 10 倍——您如何處理該異常值？）。

每個訪問者的平均收入也受到異常值的影響，並且是一個連續變量，但該模型的基本假設往往會在更高的樣本量下達到平衡。

這兩個指標在 Shopify 實驗報告中被低估了，但除了簡單的轉化率增加之外，它們確實給分析帶來了一些新的挑戰。

然而，大多數 A/B 測試工具都可以考慮到這一點，並且您不會在推理方面遇到太多麻煩。

工具提示：使用轉換前測試分析計算器來衡量他們的樣本量要求，以了解他們的風險承受能力以及他們希望檢測到的對上面列出的重要指標的影響。

一份出色的 Shopify A/B 測試報告應包含哪些元素和見解？

那麼出色的 Shopify A/B 測試報告是什麼樣的呢？ 我們稍後會談到。

首先，浸泡這個：

只有從一個好的假設開始你的測試，你才能創建一個好的和有價值的測試報告

ONTRACK Digital 創始人 Andra Baragan

如果您想要一些關於如何創建可靠假設的指示，我們已經為您提供了保障。

現在我們已經覆蓋了我們的基礎，下面是 Andra Baragan 關於如何構建 A/B 測試的更多建議：

任何新的 A/B 測試都應該從回答以下問題開始：

問題：您要解決的問題是什麼？

機會：您的解決方案將如何解決問題？

優化軌道：這如何幫助我們的客戶實現他們的目標？ 來源：您使用哪些數據源來提出您的解決方案？

最後，在報告方面，Andra 建議返回並用數字回答這些問題。

在任何測試報告中，我們都包括以下內容：

• 測試持續時間：（測試運行了多少天）
• 測試間隔：（它運行的時間範圍）
• 我們測試了什麼：（解釋你改變了什麼）
• 見解：（1-2 行說明你為什麼要測試它，你觀察到什麼讓你想測試它）
• 你從測試中學到了什麼？ 現在下一步是什麼？
• 測試是否需要在實時網站上實施？ 你想重複變化並再次測試嗎？ 這份報告之後需要採取什麼行動？

我們總是從 Google Analytics 獲得我們的測試結果——我們為每個變體創建用戶的自定義細分，然後我們可以在所有相關報告上運行這些細分——這讓我們對測試對用戶行為的影響有了無與倫比的看法。

注意：如果您從 Shopify 儀表板中獲取分析數據並將其與 Google Analytics（分析）進行比較，由於指標的計算方式會存在一些差異。 這是有關為什麼會發生這種情況的更多信息。

構建報告

報告的結構可以根據您向誰展示而有所不同——執行人員不需要像您的測試團隊那樣詳細。 但是，您的報告通常應包括以下方面：

• 幻燈片 1：測試的目的- 你為什麼要運行測試，你的假設是什麼導致你設計這個特定的測試？
  
  對於利益相關者和您更廣泛的組織，您可以保持這個相當高的水平。 在向您的測試團隊展示時，請包含以前測試的上下文（如果適用），並深入了解您希望移動的指標。

• 幻燈片 2：測試的詳細信息 - 顯示測試的不同變體並添加簡要說明以解釋差異。 包括您運行測試的時間、運行了多長時間以及按變化劃分的訪問者數量概覽。
  
  在向領導層或其他團隊展示時，您可以省略與學習或見解無關的細節。 對於您的測試團隊，您可以擴展此幻燈片或頁面以涵蓋每一個微小的細節。

• 幻燈片 3：測試結果- 顯示提升或損失百分比、不同變體的轉化率以及測試的統計顯著性。
  
  利益相關者關心結果，這使其成為您報告中最重要的方面之一。 突出勝利和以正確方式移動的 KPI。 刪除與結果無關的異常值。 請記住，您必須訴諸他們的自身利益。 給他們一些可以讓他們看起來不錯的東西。
  
  對於您的測試團隊，您可以將更多時間花在損失以及哪些指標未能按照您預期的方式移動。

• 幻燈片 4：從測試中吸取的教訓——如果測試沒有明顯的勝利，這是您使用數據講述故事的機會。 向利益相關者解釋您報告中的數字意味著什麼，您從運行這些測試中獲得了哪些見解，以及您計劃如何為未來的測試生成新假設。
  
  這對您的測試團隊也非常重要。 你從失敗中吸取的教訓可以決定團隊的下一步。

• 幻燈片 5：對收入的影響：如果可以的話，試著用 YoY 預計的收入影響來量化你之前顯示的百分比提升。
  
  請記住，如果高管利益相關者對實驗感興趣，您必須向他們展示對公司底線的影響。 如果您沒有任何預計的收入可顯示，請確保您的學習內容包括運行可能會產生影響的未來測試的計劃。
  
  

由於沒有一種方法可以做到這一點，我們請了幾位專家分享他們如何構建報告，這就是他們所說的：

我有一個非常標準的報告結構方法，其中包括：

1. 概述
   
   對我們測試的內容、我們為什麼這樣做、我們觀察到的內容以及我們接下來打算做什麼的快速、簡單的語言總結。

2. 測試概念
3. 實驗廣告素材
4. 日期和持續時間
5. 指標
6. 頁面
7. 假設
8. 分析
9. 結果
   
   在我看來，每份報告都必須包含完整的原始結果，以便其他人審問它們，也為了後代的利益。
   
   我們可能想當然地認為我們現在可以訪問我們的 A/B 測試工具中的結果，但是一年之後呢？ 兩年？ 三？

10. 下一步
    
    根據我們在這個實驗中看到的情況，我們接下來要做什麼？

Oliver Palmer，Oliver Palmer 的 CRO 顧問

我們的 A/B 測試報告始終包含以下要素：

1. 清晰描述每個版本所做的更改；

2. 實驗結果，包括哪個版本表現更好； 和

3.根據A/B測試結果對進一步實驗的建議

這些報告幫助我們了解什麼對我們的商店最有效，並就如何提高我們的轉化率做出明智的決定。

PalaLeather 首席執行官 Luke Lee

1. “已查看實驗（頁面）– 有多少人查看了該實驗？
2. 已查看的實驗（元素）——如果實驗只顯示在滾動條上，有多少人看到了它？
3. 實驗停留 - 在桌面上，用戶的光標是否懸停在實驗區域上？
4. 實驗交互——用戶是否與實驗交互？ （單獨跟踪每個元素）
5. 頁面停留時間
6. 是時候結賬了”

AirOps 創始人兼首席執行官 Alex Halliday

以下是 ONTRACK Digital 活動報告之一的快速示例：

（您可以將其用作報告的模板。）

幻燈片 1：

• 品牌
• 報告名稱
• 時間段

幻燈片 2：

測試亮點

• 完成的測試數量
• 成功測試的數量
• 實現的功能
• 正在進行的測試數量
• 帶有狀態更新的所有測試的概要

幻燈片 3：

特定時期的 Google Analytics（分析）概覽

• 收入和轉化率
• 交易
• AOV

幻燈片 4：

當前運行的測試

• 當前正在進行的測試的快照
• 來自 A/B 測試軟件的視覺效果，顯示哪一個正在成為贏家
• 來自 Google Analytics 的指標來支持測試的進度

幻燈片 5：

未來測試概述

• 計劃中的所有測試

您可以使用一張幻燈片來解釋每個測試，並附上視覺效果。

涵蓋目標和 KPI

目標和 KPI 位於“測試詳細信息”部分，因此您可以解釋實驗的目標。

請務必添加註釋以解釋您的選擇。 您可能會被詢問為什麼選擇特定目標或 KPI 來跟踪其他目標。

需要幫助確定要跟踪的目標和 KPI？ 獲取我們在 A/B 測試中使用目標的終極指南。

我們還請了幾位專家就他們追踪的目標發表意見：

我最喜歡在 Shopify 商店進行測試的目標是增加目錄頁面的參與度。 我們的產品定義了渠道內的銷售收入和客戶增長。 專注於這個目標和測試為我們提供了關於頁面是否被訪問足夠多次的足智多謀的見解。 如果參與度低，測試可以幫助我們找出我們缺乏的領域，從而促使我們改進營銷工作。

Faruzo 首席執行官 Aviad Faruz

在目標跟踪方面，我通常從下面的列表中選擇一個主要指標，然後將其他指標用作健康指標或計數器指標。 最好留意多個數字，以防出現意外後果。

1. 跳出率
2. CVR（整體提升轉化率）
3. AOV（平均訂單價值）
4. 每位訪客的平均收入（上述兩者的混合）
5. NPS 或類似的

我還喜歡通過以下方式對用戶進行細分：

1. UTM 源
2. 設備類型
3. 地點
4. 新訪客與回訪者”

AirOps 創始人兼首席執行官 Alex Halliday

就目標而言，我們通常會直接嘗試影響一個領先指標（例如，查看的產品頁面或與尺寸/顏色過濾器的交互），然後幾乎總是有每位訪客的轉化率和收入。 跟踪的目標應該與實驗的假設和商業目標直接相關，因此最多跟踪三個或四個以上很少有用。

Oliver Palmer，Oliver Palmer 的 CRO 顧問

我們通常在 A/B 測試中跟踪兩個目標：轉化率和平均訂單價值。 但是，根據實驗的性質，我們也可能會跟踪其他目標，例如點擊率或網站停留時間。 它通常取決於實驗。 其他用戶和企業可能有不同的標準來跟踪他們各自的目標。

我們最喜歡在 Shopify 商店進行測試的目標是轉化率和平均訂單價值。 我們發現這些是我們商店最重要的指標，它們為我們如何改進商店提供了最深刻的見解。 但是，每家商店都不同，您可能會發現其他目標對您的業務更重要。 這實際上取決於您要優化的內容。

Palaleather 首席執行官 Luke Lee

為視覺敘事添加創意

您使用的大多數 A/B 測試軟件都會提供表格和圖表或某種現成的模板，供您在導出報告時使用。 您可以將這些圖形添加到您的報告中（當然，如果它們是相關的）並考慮創建一些您自己的圖形。

你的數字講述了一個故事。 只需使用廣告素材來直觀地描繪它。 訣竅是使用易於理解的可視化，最好一次性使用。

CXL 的 Annemarie Klaassen 和 Ton Wesseling 走上了這條道路，嘗試了不同的方法來找到一個行之有效的解決方案。 以下是他們建議的快速摘要：

提示 1：如果您不確定，請遵守規範 — Excel 電子表格

您可以立即看到升力和衝擊力。 此外，您可以對獲勝者進行顏色編碼，以便每個人都可以輕鬆查看哪個變體獲勝。

提示 2：添加圖表

您可以查看一段時間內每天的轉化率，並添加默認變化的下限和上限。

但是，這不會讓您清楚地回答哪個變體獲勝以及 KPI 是如何受到影響的； 僅向您表明存在對利益相關者不感興趣的穩定效果。

提示 3：模仿統計學家

另一種方法（可能更準確）是複制統計學家所做的：2 條鐘形曲線、一個臨界值和一個陰影區域。 但問題是很難清楚地解釋它。

所以 Annemarie 和 Ton 想出了這個：

兩個明確的點來顯示兩種變體的轉化率。 虛線表示置信區間。

“如果變體 B 的轉化率超出了 A 的置信區間，則變體 B 明顯更好。 綠色陰影區域強調了這一點。 紅色區域中的一個點意味著變化的表現明顯更差。”

他們又試了幾次才把它弄好。 他們最終得到的是一個更統一的版本，這對他們的團隊來說是有意義的，並且他們能夠自動化創意的製作。

你可以閱讀完整的帖子，看看他們最終得到了什麼。

PS你不必過於復雜。 確保你有創意來支持你的結果和學習，並確保每個人都容易理解。

涵蓋靶向和實驗設計

您如何設計實驗以及針對哪個細分受眾群與您從中學到的東西一樣重要，尤其是因為您必須使用這些見解來構建未來的測試。

這些也位於“詳細信息”部分。 您可能希望抽像出一些與最高管理層無關的信息或提供其精簡版。

以下是專家處理目標和細分的方法：

不同的實驗將針對不同的用戶群，例如回頭客或看過您的主要產品頁面的個人。 如果您有來自盎格魯世界各地的用戶，您可以使用英國英語定位英國客戶。 通過細分您的受眾，您可以僅向符合您條件的特定數量的訪問者展示您的實驗，同時排除那些不符合條件的訪問者。

在您的商店中進行 A/B 測試之前，您需要確定您的受眾的哪一部分適合您的假設。 分段可確保向正確的客戶展示正確的實驗。

Lulu Albanna, 聯合創始人 – WRC Media

解釋你為什麼做出這些具體的選擇。 是之前實驗的結果嗎？ 或者，您是否基於轉換研究得出了某個假設？

Electric Sc​​ooter Guide 的技術經理 Paul Somerville 還建議分享觸發測試的位置以及為什麼這很重要：

作為 Shopify 公司，我們針對實時聊天、號召性用語按鈕、產品圖片、追加銷售定位、登錄頁面、導航菜單等功能進行了多次 A/B 測試。

例如，A/B 測試幫助我們在交叉銷售和追加銷售之間建立了正確的平衡，而不會給客戶體驗帶來煩惱或摩擦。

我們注意到，經過多次實驗，我們的受眾立即喜歡產品頁面上高度相關的建議，而不是結帳時提出的建議，因此，我們提高了平均交易價值。

歸零分割

所有的測試都不是從一個受眾群體開始的。 通常，測試的目的是找出哪個部分對變化的反應更好。

因此，如果您打算在測試完成後定義細分受眾群，請確保將您的發現包含在報告的“結果”和“學習”部分中。

您希望在報告中包含的一些常見細分：

• 地理
• 行為的
• 天氣
• 技術圖

所有這些都將幫助您改進必須的結果，以更好地了解您的受眾並設計卓越的測試。

但是，您應該記住，後期細分可能會遇到三個常見問題——樣本量太小、比較多個細分以及關注完全錯誤的細分。

注意：您還可以根據 cookie、數據層甚至 HubSpot 列表進行後期細分——細分受眾群體。

在內部和向客戶傳達 Shopify A/B 測試的價值

現在您已經知道 Shopify A/B 測試報告應該是什麼樣子了，以下是我們專家的一些建議：

• B2C 與 B2B – 向他們展示正確的道路
  B2C 中的購買週期要短得多，流量也多得多，因此理想情況下您有可能進行大量測試。 但是，您會發現大多數品牌仍然專注於“久經考驗”的獲取渠道，由於新的隱私更新導致數據不佳，這些渠道變得不可持續。 結果？ 客戶獲取成本的驚人增長。 向您的客戶/利益相關者解釋您不能超過所有競爭對手。

• 發揮領導的利益
  A/B 測試的真正價值在於您從實驗中收集到的見解。 但這些對創始人和其他利益相關者沒有用。 他們不太可能對學習印象深刻，而對“勝利”更感興趣。

• 不要設定錯誤的期望
  當然，您應該嘗試顯示對收入的影響，但這裡的關鍵詞是：盡可能。 不要根據轉化率或平均訂單價值的增加來預測收入。
  而是專注於測試的內容：
  
  
  • 具體說明您所做的事情並創建可視化和相關的報告。
  • 學到了什麼？ 這可以來自 CR 或 ARPV 移動等指標。 不要關注運動，而是如果假設被證明是正確的。 如果是這樣，因果關係揭示了您的細分受眾群的哪些方面？
  • 你將如何處理這種洞察力？ 你會細化定位嗎？ 或者也許改進網站設計？
  • 這對整個企業意味著什麼？ 它能讓品牌更接近實現業務目標嗎？

• 為您提供的數字添加上下文
  你必須毫不含糊地讓人們知道他們在看什麼。 這可能意味著顏色編碼、添加行業基準、顯示平均值、受眾細分，甚至顯示不同渠道的成本。

遵循這種方法可確保您不會總是面臨快速獲勝的壓力。

你可以將注意力重新集中在實驗的意義——學習上。 但關鍵不是將一件事優先於另一件事。

最好的實驗機構與他們正在測試的內容一樣關注興趣和支持。 在熱情（是的！實驗可以發展業務）和設定不准確的期望（我們的收入將翻倍）之間進行真正的平衡。

前進的道路是（*請打鼓*）教育。 獲取一份“Experimentation Works”的副本——這是一本沒有行話的讀物，它將指導您進行更好的測試並分享可操作的見解。

如果您正在尋找可以幫助分擔負載的 A/B 測試工具，不妨試試 Convert。 免費使用 15 天，無需信用卡。