测试思维导图系列：如何像 CRO 专业人士一样思考（第 6 部分）

采访 GoodUI 的 Jakub Linowski

你有没有想过为什么有些人似乎对 CRO 有诀窍？

这不仅仅是因为他们擅长设置实验。 他们还知道如何以不同的方式思考问题，这也是本系列将帮助您做的事情。 我们将仔细研究构成成功 CRO 的心态，以及如何将它们应用于您的战略。

如果你能让自己进入正确的心态，那么成功会比你在没有先了解盲点可能在哪里的情况下尝试要容易得多。 最终，测试思维导图系列旨在帮助您更好地规划优化策略并更有信心地执行测试！

在这篇文章中，GoodUI 的 Jakub Linowski 分享了实验的力量不仅在于它作为一种有用的方法的能力，还在于它能够产生强大的洞察力，从而为更好的决策提供依据。

Jakub，给我们介绍一下你自己。 是什么启发了您进入测试和优化领域？

2014 年左右的某个时候，当我的设计背景引导我走上这条路时，我被实验世界所吸引。 随着人们开始分享优秀 UI 和“最佳实践”列表的示例，我也开始分享，这就是 GoodUI.org 的由来。 然而，没过多久我就意识到我所有的建议和 UI 模式都更接近于视觉假设，而不是任何有证据支持的东西。 我真的很想获得更多的信心，并更好地从坏想法中筛选出好的想法。

所以当我听说 A/B 测试时，我非常兴奋（尽管我不知道置信区间是什么）。 我聘请了一名前端开发人员，我们成立了一个小型优化机构。 我们开始测试我们在博客上读到的、从客户那里听到的任何想法，以及从我们自己新兴的 GoodUI 模式库中听到的任何想法。 由于我们的大多数客户都允许我们公开发布 a/b 测试，因此很明显有些模式比其他模式更好。 有些没有做太多。 其他人复制得很好。 其他人则导致负面结果。

我们现在需要权衡这些实验。

因此，GoodUI.org 很快开始变成一个包含类似和可比实验的存储库，具有完整的反馈循环。 以更高频率和影响力表现更好的事物浮出水面（使用中值汇总数据）。 虽然类似模式的测试结果被反馈到我们的数据库中，从而更正了我们的预测并提高了准确性。

所以，是的，我喜欢实验，因为它既是美妙的方法，又是强大的专业知识来源，使我们能够做出更好的预测。

你优化了多少年了？ 您向有抱负的测试人员和优化人员推荐的一种资源是什么？

2014 年 5 月，我们在一家大型保险公司的报价登陆页面上进行了第一次飞跃 a/b 测试。 变化包括我们当时所知道的关于根据我们自己有限的经验改进表格、复制和潜在客户表格的一切。 结果是导联相对增加 53%（±28，p-val 0.0002）。 这是我第一个让我着迷的实验。

就资源而言，我喜欢从其他人的测试中学习。 查找来自 Netflix、Airbnb 和 Amazon 等大公司的实验是特别令人兴奋和有价值的，我们知道这些公司拥有良好的样本量并进行了大量测试。 总的来说，我认为向比我们领先几步的人学习总是一个好主意（正如许多人所建议的那样，包括 Robert Greene 在Mastery中的建议）。

用 5 个字或更少的词回答：对你来说优化的学科是什么？

优化意味着我们正在改进事物。

（结果对优化至关重要。例如，一百个平坦或不受欢迎的实验结果还不够好。你可能会学到很多东西，是的。但为了让我们优化某些东西，我们需要朝我们想要的方向移动指针.)

人们在开始优化之前必须了解的三件事是什么？

探索——产生尽可能多的想法。

开发——根据过去的结果优先考虑想法，以提高速度。

实验——打开我们的想法被伪造或验证。

您如何处理定性和定量数据，以便它可以告诉您一个公正的故事？

我同意验证 a/b 测试结果的想法。 一般来说，我们拥有的一致措施越多，我们的实验就越可靠和值得信赖。

在比较结果时，我们可以采用以下几种方法：

• 比较同一实验中的多个指标（例如，效果的一致性：添加到购物车、销售额、收入、退货购买等）
• 比较不同实验的历史数据（例如，在 2 个不同网站上运行的两个独立实验之间的效果一致性）

您为优化团队设置了什么样的学习计划？ 你为什么采取这种特定的方法？

我坚信重复实验是更好地预测测试结果（产生专业知识）的关键因素。

因此，在我们自己的平台上，我们将类似的实验分组并汇总类似的指标。

从实验中建立知识库时，另一件重要的事情是尽量减少发表偏差。 也就是说，保留所有实验的记录，与它们的结果无关（包括积极的、消极的、重要的和不重要的）。

您希望消失的最烦人的优化神话是什么？

最近，我被那些声称实验没有缺点的人惹恼了（这个精彩的 LinkedIn 帖子很好地捕捉到了）。 有时会出现一种微妙的方式是通过听起来类似于“没有失败的测试，只有学习”的陈述。

这在象牙塔世界中可能是正确的，学习是关键目标，实验者不受成本影响。

然而，作为一种职业，当我们使用实验作为优化客户网站的工具时，没有免费的午餐。 进行实验有其成本、风险、缺点和优点。 从这个角度来看，我认为跟踪和承认结果的真实情况是非常健康的（包括坦然承认一连串的阴性测试而不是粉饰它们）。 所有职业都需要积极和消极的反馈循环才能不断进步。

希望我们对 Jakub 的采访将有助于指导您的转换策略朝着正确的方向发展！ 什么建议最能引起你的共鸣？

请务必继续关注我们与 CRO 专家的下一次采访，他将带领我们了解更高级的策略！ 如果您还没有，请查看我们对OptiPhoenix 的 Gursimran Gujral、Speero的Haley Carpenter、 Frictionless Commerce 的 Rishi Rawat、 ConversionAdvocates 的 Sina Fak和Green Light Copy 的 Eden Bidani 的采访！