实验中的输入与输出指标：如何选择要测量的内容

您为实验计划定义和跟踪的指标非常重要。

您测量的内容决定了您的关注点。 他们说“你无法管理你不衡量的东西”。

虽然这是完全正确的（即使你不看体重秤，你当然可以减肥），但它在方向和实践上都是正确的（如果你看体重秤，减肥会容易得多）。

我花了很多时间思考在实验中哪些指标很重要。

更重要的是，我花了很多时间思考输入指标和输出指标。

输入和输出指标有什么区别？

输入指标是领先指标，您可以直接控制。 通常，他们跟踪工作量、资源分配和运营效率。

输入度量的想法是它们与输出度量相关。

虽然您无法非常准确地预测，具体来说，您的总转化率是多少，但您可以轻松控制您正在运行的实验数量、将胜利推向生产的效率，以及在一定程度上，您的胜利率是多少和平均获胜规模。

这些东西可以而且应该映射到您的输出指标，这些指标通常是利益相关者关心的数字业务指标。 从 ROI 的角度来看，它们是显示您在实验中投入的所有努力是否真正得到回报的数字。

因为输出指标关注业务成果，所以我将首先介绍这些——原因是您的输出指标应该决定您的输入指标。

简而言之，您的输出指标对业务至关重要，而您的输入指标是您可以控制以获得这些结果的杠杆。

实验输出指标

输出指标是你向老板展示的。 它们与您的实验计划的价值相关联，并表明总体而言，您正在产生积极的投资回报率。

实际上，实验输出指标可以是您可以测量的任何量化指标。 在大多数情况下，这是一个离散或二元指标，如转化率，但有时它是一个连续指标，如每位访问者的收入。

在所有情况下，您都希望将最能代表业务价值的输出指标映射出来。

将实验指标分为两类：微观转化和宏观转化（也称为主要和次要指标） 。

微观转化与宏观转化（和监控指标）

A/B 测试领域的常见建议是针对宏观转换进行优化。

宏观转换虽然由您和您的企业定义，但最接近金钱。 在电子商务中，这是每个访问者的购买量或收入。 在 B2B 中，这可能是高质量的潜在客户转换，也可能是免费增值软件的产品注册。

无论如何，您都可以将微转化直接映射到收入，因此，这些实验中的投资回报率很容易衡量和证明努力的合理性。

微转换是导致宏转换的那些动作，并且往往与宏转换完成密切相关。

在电子商务中，微转化可以是添加到购物车、横幅点击，甚至是电子邮件列表注册。 在 B2B 中，它们可能是对定价页面的点击、CTA 点击或电子邮件列表注册。

还有监控指标或护栏指标。 这些是质量指标，您可能不以改进为目标，但以不损害为目标。 因此，如果一个实验提高了转化率，但也提高了产品退货或退款率，您可能不会将该实验推向生产。

这两个类别之间没有普遍和客观的划分，尽管有一些明显的断层线。 也就是说，转换是否直接为您的业务带来收入？

我将在这里介绍 18 个输出指标，将它们分为宏观和微观转换。 最后，我们将讨论如何为您的业务选择正确的输出目标。

宏转换

转化率指标（任何类型）

转化率是最常见的输出指标，但对于许多不同类型的业务来说，它可能意味着很多事情。

从根本上说，这只是意味着您试图增加观看体验并在观看该体验后完成所需操作的人的比例。

1. 潜在客户转化率

最常见的转化率类型之一是潜在客户转化率。

这是注册成为潜在客户的网站访问者的比例。 “潜在客户”的定义当然取决于您的业务。 在某些情况下，是注册请求演示的人。

有时，企业会进一步深入挖掘，只计算“合格”的线索，这是基于数据丰富或各种维度的过滤来确定某人是否适合该产品。

其他企业将计算营销合格的潜在客户，例如注册网络研讨会或下载白皮书的访问者。

2. 产品注册或购买

产品注册是明确的宏观转换。 如果您销售实物商品，这是购买它们的人。 如果您是一家免费增值 SaaS 公司，这是第一次进入您的产品的人。

很难想象一个营销实验计划不将其作为核心实验 KPI 进行跟踪。

3.激活率

进入产品实验，对于以产品为主导的成长型公司来说，首先要记住的事情之一就是激活率。

有人注册后，产品中的第一个有意义且表明用户参与的操作是什么？

一些公司将此映射到特定的操作或操作数量（Facebook 有著名的 7 天 7 朋友规则）。

这个时刻通常被称为“aha 时刻”，即让用户了解产品价值的时刻或动作。 这个时刻通常是通过定性反馈和定量能力来发现的，以便将此操作与更长的保留时间或更好的货币化率相关联。

4、变现率

与激活率一样，货币化率通常用于以产品为主导的成长型公司，这些公司拥有许多免费增值用户，或者至少有几个不断升级的产品层级。

在免费增值模式中，这个指标是离散的——免费用户是否通过了成为付费用户的障碍？ 在其他模型中，该指标可能是连续的——例如，如果一家公司根据 AWS 等使用情况收费，它并不像区分“付费”和“非付费”账户那么简单。

5. 电子邮件列表注册

此时大多数企业都意识到电子邮件营销和建立可靠的电子邮件列表的价值。 特别是对于内容营销人员和博主来说，最有趣的宏观转换可能是将读者转换为电子邮件订阅者。

用美元值绘制这个需要一些分析工作，但如果您有足够的历史数据，您通常可以为您收集的给定电子邮件分配平均收入值。

6.电子邮件激活率

电子邮件激活率是一个被低估的营销指标。 仅仅因为有人注册您的电子邮件列表并不意味着他们参与或有价值。

这就像电子邮件营销的“高匹配潜在客户”版本。

您可以在此处根据需要定义“激活”，但许多将包括“打开前三封电子邮件中的一封”之类的内容或其他方式来表明该人实际上正在阅读和打开您的电子邮件。

客户价值指标

客户价值指标通常是连续变量，这使得它们更难用作实验指标。 但它们几乎总是最接近实际商业价值，它们可以作为您工作的重要滞后指标。

7. 每位访客的收入

每个访问者的收入是电子商务的最佳综合指标之一。 不是每个人都会购买东西，但有些人会。 并且一些购买者会购买大量产品。

每个访问者的收入对每个网站访问者都具有平均值，因此您在此等式中包括了购买规模以及购买的客户数量。

8.平均订单价值

平均订单价值计算在已购买的人中，平均购买量是多少。 这再次与您可以直接在现场购买的电子商务网站相关。 它也可能是 B2B 交易中的 ASP（平均售价）。

9. 购买次数

电子商务的一种保留指标，您可以跟踪给定时间段（月、季度、年）内的购买次数。

这跟踪重复购买，并表明网站特征以及营销渠道以推动更多重复购买者（通常是电子邮件营销和付费广告）。 这是一个整体指标，不仅旨在优化销售，还旨在优化第二次和第三次销售。

10. 保留

在 SaaS 产品中，客户保留是增长的关键。 您可以吸引成千上万的用户注册，但如果他们不付款并继续付款，您的业务将随着时间的推移而流失收入。

虽然许多因素会影响产品本身之外的留存率，但实验也可以帮助推动留存率。 然而，对于许多企业来说，将留存率作为一项实验性 KPI 进行跟踪变得有些困难，因为它是一个很长的反馈周期。

11. 客户终身价值

最后，关于复合指标的神秘金字塔顶端：客户生命周期价值。

这会考虑到所有前面的指标，例如货币化或平均售价、留存率（某人成为付费客户的时间）以及平均转化率，然后使用客户生命周期价值公式构建一个复合指标，以估计平均有多少，客户对您的业务有价值。

这显然是很难在每个实验的基础上衡量的，但作为业务 KPI，了解这一点很重要。

这可以让您找出增加产品价值的方法，并展示某些营销渠道和广告活动的可行性。

微转化

1.点击率（多种类型）

点击率是微转化的主要类型。 无论是从广告到着陆页，还是从着陆页到请求演示页。

在电子商务中，这通常被跟踪为产品页面的点击率，甚至可能是“添加到购物车”操作或查看购物车。 这也可能是电子邮件营销人员的电子邮件打开率或电子邮件点击率。 您的电子邮件营销工具应该可以轻松地为您提供这些信息，以及 A/B 测试不同版本的能力。

当然，您必须从一个位置点击才能到达下一个位置，因此点击率应该与更高的购买量或转化量相关。

但是，如果您仅将点击率作为您的实验 KPI 进行跟踪，您通常可以通过复制或 UX 欺骗来进行游戏。

正如卢卡斯·维米尔（Lukas Vermeer）所说，

CTR 对于优化酒店预订来说很糟糕（例如，带有“FREE BEER”主题的 EMK 会提高 CTR，但一旦客户发现您的网站上没有啤酒，当然不是免费啤酒，可能会降低销售额）。

Andrew Chen 将其称为意图守恒，并认为这是 A/B 测试结果不能转化为最重要的原因之一。

2.链接点击

链接点击量就是它听起来的样子——点击给定链接的人数。 这是另一个点击率指标，但对于某些企业（即附属公司），点击出站链接是一个重要的意图指标。

我总是在与我合作的网站上设置链接点击跟踪，主要是因为它可以指示网站用户行为和优化机会。

一些实验也旨在改变用户行为的方向（有时映射到宏转换，但有时只是看看它们是否可以为新模块带来更多点击）。

3.视频播放

如果您的目标网页上有视频，那么跟踪实际观看或播放视频的人数很重要。

但是，我已经看到了一些实验，其中仅添加视频就可以增加转化率，而实际上并没有很多访问者观看视频本身。 因此，如果您正在跟踪这一点，我仍然建议您将您的实验映射到页面上的宏转换。

4.视频完成

有多少人播放了视频，以及人们观看视频的距离。 视频完成率或视频完成率显示了普通人观看视频的程度。

同样，这可能很重要，尤其是在教育页面上，但我仍然建议您选择更合适的业务 KPI，例如潜在客户转化率。 您仍然可以跟踪视频完成情况，而且您可能应该这样做，但仅仅因为有人观看了整个视频并不一定意味着他们更有可能进行转换。

5. 产品游览视图

对于许多没有免费增值或免费试用计划的 B2B 公司来说，有限的交互式产品导览是向访问者展示产品实际外观和感觉的好方法。

以下是 Pendo 产品之旅的示例：

作为 KPI，您应该将其视为视频视图或任何类型的促销模块视图。 虽然它们可以并且经常与更以业务为中心的 KPI（如转化率）相关联，但它们并非总是如此。 所以跟踪这些东西，但也要衡量你的宏观转换作为主要的实验 KPI。

6.产品巡演完成率

同样，有些人查看产品导览并立即反弹，这些访问者与查看产品导览并完成它的访问者不同。 产品游览完成率和转化率之间可能存在相关性，但也可能不存在相关性。

如果您将产品导览视为产品本身，那么查看有多少人完成它当然很重要。 这是产品之旅的一个很好的用户体验指标。

7. 定价页面浏览量

大多数 B2B 买家会在购买前访问定价页面，尽管在他们访问此页面的客户旅程中这很重要。 如此多的营销人员将跟踪定价页面的点击率作为微转换。

它有点像电子商务优化中存在的添加到购物车版本。

实验输入指标

实验程序中的输入指标是在程序级别定义的。 它们不直接跟踪收入，但它们是与您的输出指标改进相关的操作。

在大多数情况下，您的实验输入指标将尝试增加实验的回报或降低运行实验的成本（通过提高效率）。

我将在这里运行 6 个实验输入指标。

1. 实验速度

实验速度衡量您在给定时间段内启动了多少实验。

通常，构成投资回报率基础的三个输入指标是您运行了多少实验，其中获胜者的百分比以及平均获胜率是多少。

简而言之，运行更多实验（或每个实验更多变体）会增加您获得获胜者的机会（前提是它们是高质量的实验）。

增加实验速度也是一个很好的强制函数； 它可以帮助您了解开发和生产瓶颈出现在哪里以及您需要额外资源的地方。

2. 最终率

对我来说，没有什么比一连串不确定的实验更令人沮丧的了。 有时我宁愿看到一个决定性的损失而不是一个不确定的测试，因为至少我可以暗示我正在测试的东西对用户体验很重要。

因此，有些人开始跟踪结论性的比率——你运行的所有实验中结论性实验的数量。

如果您的程序处于早期阶段，或者您似乎在进行大量没有结果的实验​​而几乎没有学习，那么这可能是一个很好的指标，可以迫使您摆脱这种陈规。

3.胜率

我们都想进行成功的实验。 实验的一部分是接受他们不会都成为赢家（如果他们是，你需要质疑你正在解决多少容易实现的目标而不是尝试新的创新事物）。

赢率告诉你，在你进行的实验中，有多少是赢家？

如果您增加实验次数并保持胜率，您的投资回报率就会增加（假设运行更多实验的边际成本）。 如果您保持实验速度但提高胜率，您的投资回报率也会提高。

这是提高实验投资回报率的关键杠杆。

4. 每场胜利的平均提升

最后，在你运行的获胜实验中，他们获胜的平均提升是多少？

这很难控制，因为如果我们可以预测实验的规模，那么我们就不需要运行它了。

但是，跟踪是很好的，因为与实验速度和胜率一样，它是您的实验计划价值的明确领先指标。

此外，激励更大的胜利通常会导致营销人员和产品营销人员跳出框框思考并尝试更大、更具创新性的实验。

5. 开发时间

我将我的实验过程分解为不同的步骤。

通常，工作流程如下所示：

实验想法 > 实验文档 > 线框 > 设计 > 开发 > QA > 运行测试 > 分析 > 文档 > 推送到生产

我在计划阶段为每个步骤设置了预计到期日，然后计算预期到期日与实际到期日之间的差值。 如果差异太大，这表明我们可能存在流程瓶颈。

大多数情况下，这将出现在设计或开发阶段。

如果您可以改进这些阶段，就可以提高实验吞吐量，这是我们关注的关键输入 KPI 之一。

6. 生产时间

与开发时间类似，生产时间衡量的是实验过程的一个阶段：从分析一个成功的实验到在产品中或在您的网站上实施它需要多长时间。

这个阶段经常被低估。 实验者会庆祝胜利，然后继续下一个，但是你能多快实现一些东西是很重要的。 一方面，它减少了遗憾——您使用次优变体操作的时间。

其次，在这个阶段进行改进可以让您将越来越多的开发人员时间集中在设置后续实验上。

构成指标和总体评价标准

实验中有一个概念被称为总体评估标准。 人们也可以将其称为北极星指标。

这是一个考虑了护栏指标（即，要观察和考虑的指标可能意味着损害或用户体验损失）的指标。 Guardrail 指标可能包括跳出率、退出率，甚至 NPS 或 CSAT 等态度分数。

整体评估有时还会将几个不同的输出指标组合成一个单一的成功指标。

这些指标几乎从来都不是点击次数等短期指标，而是跟踪一些宏观业务目标。

Ronny Kohavi 举了这些例子，“购买的单位、收入、利润、预期的生命周期价值，或者这些的一些加权组合。”

虽然创建一个整体评估标准是可取的，但它通常需要大量的数据工程工作，特别是如果您的业务模型是一个市场或比电子商务不那么简单的东西（尽管即使在这种情况下，也很难跟踪客户的终身价值）每个实验的基础）。

然而，更广泛的观点是：您越接近形成一个全面的成功指标——一个考虑到长期商业价值和护栏指标的指标——你的实验计划及其目标就越清晰。

如何选择实验目标和 KPI

好的，我们浏览了十几个输出指标和几个输入指标。

那么，问题是您和您的企业如何选择关注什么——因为它*是*一种选择，并且从该选择中会产生各种激励、行为和行动。

我想出的选择指标、目标和 KPI 的最佳方法是创建目标树。

Speero 在这里有一个很好的目标树可视化示例：

其中，他们从公司层面的目标开始，其中包括客户满意度指标。 这流入了团队级别的目标，该目标专注于成功的功能开发。 然后它会放慢到个人层面的目标，重点是测试和构思新的功能建议。

我相信所有的团队和个人目标都应该直接反映并为公司目标做出贡献。 这是一致的，当您取得有助于公司目标的结果时，您会对您的计划感到更加兴奋，因为您展示了对公司使命的真正投资回报率。

这在您的公司中将如何看待取决于许多因素。 重要的是通过这个练习并批判性地思考你选择的目标。

结论

您在实验中定义目标的方式会影响这些目标下游的几乎所有操作。

理论上，您可以在输出和输入级别上跟踪数千个指标。 选择正确的指标，不仅是为了跟踪而且衡量你的实验或项目的有效性，对项目的成功至关重要。

所以在现实中，我相信你应该选择尽可能少地关注指标。 这允许集中注意力，但它也让您有时间在几个月或几年的过程中改进这些。

我喜欢将我的目标分为两类：输入和输出指标。 输出指标是我判断我的个人实验或我的实验计划的结果。 他们是我向团队和高管报告的内容。

输入指标帮助我建立一个更有效的程序。 他们是我判断我自己和我团队的努力的依据。

您如何为您的程序定义实验指标？ 您是关注输入指标，还是只关注输出和结果？