2023年如何选择A/B测试工具

您知道市场上有超过 50 种 A/B 测试工具吗？

是的，就这么多。

有这么多选择，你怎么知道哪一个会在 2023 年满足你的需求？

如果您希望满足您的测试需求，您无需倾家荡产或与类别领导者同行。 考虑一下您经常面临什么样的优化挑战——最适合您的 A/B 测试软件应该符合您的需求和预算。

您如何从市场上的所有工具中缩小“那个”的范围？

在这篇博文中，我们将概述您在做出决定时应考虑的因素，并分享我们对 2023 年最佳 A/B 测试工具的首选。

让我们来帮助你！

但首先…

快速回顾：了解优化难题

这份实验成熟度状态报告确定了实验成熟度的 4 个支柱。 这些是实验的核心方面，可帮助各行各业的组织在扩展其计划的同时成功地进行实验。

我们将在这里学到的东西很有趣。 这些支柱是

1. 过程和责任：这包括构思和优先排序、实验设计、如何衡量成功等的过程。
2. 文化：组织对实验的总体态度是什么？ 提供多少高级管理人员支持？
3. 专长：时间、资源和技能组合。 最后……
4. 工具和技术：为您的实验提供动力的技术堆栈。

尽管这项研究是几年前进行的，但基本面没有改变。 工具只是优化难题的一小部分。

如果您阅读本文是为了找到最好的 A/B 测试工具，它可以单枪匹马地将您的测试程序从 0 提升到 100 或还好到很棒，那么请考虑这是一个现实检查。

那么你的主要关注点应该是什么？

可以说，在实验成功方面，人员和流程占了上风。 处于 CRO 游戏顶端的品牌和代理商非常重视培训。 你也应该这样：

您应该对您的团队进行投资，而不仅仅是作为 A/B 测试的最佳实践； 对于希望将优化游戏提升到新水平的组织来说，这通常是专家规定的优先事项。

该培训超越了基本的 A/B 测试教程，还包括研究、数据收集和分析、批判性思维、实验设计、统计、质量保证、利益相关者沟通等等。

让我们在这个想法上加上一个大头针，因为我们稍后会恢复它。

这种教育组合的一个流应该来自您的 A/B 测试供应商。 在为您的团队寻找合适的工具时，请牢记这一点。

正确的工具将提供与了解哪些实践和框架为高测试速度提供最高效率（这是许多实验中最优秀的人，包括 Ronny Kohavi 和 Lukas Vermeer 推荐的项目目标）相对应的教育。特定的测试平台。

由于人员和流程的成败比您选择的 A/B 测试软件具有更大的影响力，因此在行业中越来越受欢迎的一个想法是将 20% 的优化预算花在工具和依靠教育、招聘和运营。

例如，代理机构 WeTeachCRO 认为工具支出可以而且应该远低于 20%：

传统观点认为，不要将超过 20% 的 CRO 总预算花在工具上，而将 80% 留给人——毕竟人才是真正改变你的项目的人，而工具只是一个推动者。 但撇开这种“智慧”不谈，我们的经验是，大多数客户可以（而且应该）花费远低于 20%。

对于我们的大多数客户来说，他们的工具成本低于 500 英镑/月，而人工成本是其 10-15 倍，使他们更多地处于 5-10% 的范围内。 从像谷歌优化这样的免费工具开始，你应该可以起步，一旦你的测试复杂性超过了它的能力，就可以毕业到每月几百磅的东西

WeTeachCRO 摘自每个有经验的 CRO 必须问一次的 52 个问题

现在我们已经有了正确的心态，让我们转向购买 A/B 测试工具的下一个关键考虑因素。 特别是如果这是您第一次购买 A/B 测试工具。

如果没有，您可以跳到概述您需要新工具的原因。

你有足够的流量来测试吗？

A/B 测试不适用于低流量网站。 在开始测试之前，您的网站必须有足够的流量发送到您的 A/B 测试的每个变体。 如果没有足够的流量，您的实验将无法达到统计意义，并且可能会运行很长时间。

在典型的 A/B 测试中，您需要为每个变体吸引成千上万的访问者。 在 Convert 中，我们建议为每个变体发送至少 5K 访问者和大约 1000 次转化，以得出哪个变体是明显赢家的结论性结果。

前往 Convert 的 A/B 测试计算器，了解运行 A/B 测试需要多少流量、转化次数和每笔收入的平均订单量。 如果您缺少 A/B 测试所需的流量，请参阅我们的低流量测试指南。

整理好成功运行 A/B 测试所需的流量后，概述是什么促使您获得新的 A/B 测试工具。

从问题开始

弄清楚为什么需要新的 A/B 测试工具。 这是不言而喻的，但有一个结构化的方法来做到这一点是至关重要的。 就是这样：

找出您购买现有 A/B 测试工具的原因

如果您的堆栈中已经有一个测试工具，是什么促使您使用它？

请注意这一点。 这是您的 A 点，将帮助您到达 B 点，这是您的下一个理想工具。 但我们会沿途停几站。

包括客观项目，例如平台的功能。 哪些吸引了您和您的团队？ 哪些保留了您作为用户？ 你特别喜欢这个供应商的什么？

不要回避深入挖掘。 可以理解的是，在我们的决策过程中存在强烈的情感因素，但为了推进可靠的优化计划，您需要深入了解您当前的工具。

当你开始时你的程序在哪里？

您是否刚开始进行 A/B 测试，只是想弄湿自己的脚？ 您是否听说过关于增长营销播客的网站优化，并向您推荐了此工具？ 或者您是否在使用免费工具并希望将您的测试扩大到超出其限制的范围？

您希望通过工具获取来移动哪些护栏指标？

Guardrail 指标旨在让您与自己的目标保持一致。 当事情没有按计划进行时，它们会提醒您。

所以，你肯定得到了这个工具，因为你相信你可以改变一些东西。 它以前如何？ 收入？ 跳出率和订单率等用户体验指标？

你最终实现了你的目标吗？

如果不是，那为什么？ 您的测试计划是否有转折？ 还是这个工具——GASP——买错了？

诚实地回答这些问题，您就会清楚地了解问题。 这就是你的观点A。

你完全没发现问题吗？ 或者您没有部分或全部这些问题的答案？ 谁是真正的买家和重度工具用户？ 与他们进行非正式交谈将为您提供所需的答案。

因为你不想仅仅因为你有预算而有人想要一个花哨的新功能就改变工具。

功能几乎不能解决问题。 他们最多只能帮助执行解决方案。 这种转变对你来说应该是有意义的：

• 采用方面
• 供应商支持方面——如果您与现有供应商关系融洽，这意味着什么。 它在旅途中有一个伙伴。
• 推出并按时间增加 — 适应新工具所浪费的天数是您将不会测试的天数，无论是完全测试还是满负荷测试。

底线：当且仅当您知道移动将解决构成您已识别的问题的所有元素，以及堵塞漏洞并为您的人员和流程带来额外价值时，才决定进行转变。

如果这些花里胡哨能够带来真正的机会而不是趋势，那么该技术将赶上您认为需要的任何花里胡哨。 不要为了一个功能而摇摆不定。

问合适的人

一旦你确定有一个真正的问题可以通过实验或改变平台来解决，而不是一些不值得努力的轻浮或幻想（操作和程序混乱的幽灵表现为工具问题），然后继续构建您的考虑因素集。

为了构建考虑集，我们必须用正确的数据武装自己，以做出涵盖所有基础的合理决策。 与所有事情一样，正确的数据是您的问题，而不是意见。

你还想避免大多数人犯的一个常见错误——追求类别领导者。 类别领导者很少在所有方面都做得最好。 您也不应该默认使用上次评估的相同工具。

因为实验很复杂。 您需要一个支持您的特定项目目标和实验工作流程的平台。 在完美融入您的文化的同时，因为实验成熟度的所有支柱必须协同工作。

对选择持开放态度。 就像 Peep Laja 所说，他们立即改善了情况。

那么，我们从哪里开始呢？

B2B 买家对购买工具的看法——这是他们开始的地方

我们在 LinkedIn 上进行了一项民意调查。 我们询问了 B2B 软件购买者：“购买每年花费超过 5,000 美元的软件时，您做的第一件事是什么？”

他们回答：

• 57% 进行谷歌搜索
• 21% 研究知名品牌
• 14% 从 G2 或 TrustRadius 开始，以及
• 7% 要求推荐

其他意见包括那些将所有四个结合起来的人。 虽然不是一个重要的样本，但它具有相当的代表性，让我们了解了买家开始搜索工具的首选方法。

那么，拥有最强 SEO 的工具会胜出吗？ 不完全是。 我们用大量的盐来获取这些数据。 它表明，当我们对某事一无所知时，我们会倾向于首先求助于谷歌。

虽然这是您搜索的跳板（为您提供要考虑的 A/B 测试工具列表），但您需要一个更明智的策略。 来自本次民意调查底部的一个：问合适的人。

我们推荐什么

咨询广泛使用 A/B 测试工具的人员、您的团队，并了解您的利基市场中的竞争对手或其他参与者使用什么。

询问您网络中定期测试的人员

从...开始

• LinkedIn：查看转化率优化专家组。 有些更针对 SaaS、营销专业人士和 Shopify。 或者使用正确的主题标签（例如：#CRO、#abtesting #experimentation 和 #optimization）发布帖子，标记您认识的频繁 A/B 测试人员，并公开征求建议。
• Slack 社区：为 CRO Growth Hacks、Marketers Chat、Growmance 和 Measure 等营销人员请求有关 Slack 社区的建议。

你会想要避免

• 机构联系人：至少在这个阶段，因为大多数人都与工具或他们最喜欢的工具有联系，这可能涉及也可能不涉及经济回扣和补偿。 这既不好也不坏。 这就是现在的空间。
• 谷歌结果：避免谷歌搜索特定A/B测试平台或做出决定的结果。 您想要一个适合您的工具，而不是具有最佳 SEO 的工具。

你也可以…

使用 BuiltWith 查看您空间中的其他品牌

如果您处于利基行业，这很有效。 经常推荐的平台可能没有与您的技术堆栈集成。 或者他们可能不支持通过实验来改进对您而言重要的方面和指标。

例如，Shopify 领域有很多转化率优化，但大多数品牌都认为努力跟踪收入是设置 A/B 测试工具的一部分。

你想为任何对你的实验计划很重要的事情而苦苦挣扎吗？

这就是为什么您正在考虑的 A/B 测试工具应该有特定的规定来满足您的测试需求。 就像 Convert 如何提供自定义 Shopify 应用程序来摆脱收入跟踪问题一样。

这可能不会产生您需要的确切工具，但它会告知您的考虑因素。

要查找您所在空间中正在使用的品牌，您只需要他们的网站地址即可在 BuiltWith 上运行搜索。

或者，您可以搜索您正在考虑的工具，看看谁在您的空间中使用它们。 使用免费帐户时有限制。

点击你的团队

如果您有一个团队定期在您的组织中运行测试，那么他们是最能告知您的考虑因素的团队之一。 他们已经在游泳池里游泳了，所以他们会知道温度。

听取他们的意见。 询问他们为什么希望使用特定工具。 哪些功能是不可商量的，哪些是值得拥有的？

什么过去的经验胜过花哨的功能发布？ 最好的信任投票来自过去在特定平台上取得成功的测试人员。

收集这些信息并构建它。 如果您找到建议，请快速检查您的问题，以确保该建议有价值。

建立你的考虑集

在这个阶段，您已经识别出 3 或 5 个您非常感兴趣的工具。这是一个坚实的起点。 但现在，您的决定可能基于无形因素、推荐和品牌认知度。

当您构建您的考虑因素集时，您将创建一个包含这 3-5 个 A/B 测试工具的矩阵，并将它们与问题的组成部分相对应。 也就是说，他们在解决您希望使用适合您的 A/B 测试工具解决的主要问题方面的表现如何。

让我们举例说明：

问题：实验部署延迟。

如果您已经查明了不止一个基本问题，那么您还需要为这些问题设置另一个考虑因素。 但是使用相同的工具，问题的只是不同的组成部分。

关于多个问题的问题不仅在于评估起来很复杂，而且还有一个令人惊讶的替代方案可以脱颖而出。 这就是你如何知道你正在做出客观的决定。 很整洁，对吧？

注意：由于所有问题都有不同的优先级，请确保您已相应地对它们进行加权。

那么，您怎么知道要在上面的示例中填写什么考虑因素？

填补空白

• 评论
  
  从 G2、Capterra 和 TrustRadius 等流行的软件评论网站开始。 请记住：赞助的个人资料可能会显示得更多。 然而，这与工具在解决问题方面的能力无关。

• 缺点
  
  瞄准那些 2-4 星的评论。 那里的缺点通常是经过深思熟虑的。 通过它们挖掘可能对您的目标造成破坏性的问题。 看到你想避免的事情了吗？ 在考虑集上放一个“X”。

不过，用少许盐来进行批评性评论。 对别人不利的东西不一定对你也不利。 但是，如果您在 3-4 条评论中注意到一个共同点，那么就有一个值得关注的模式。

• 比较表
  
  有些工作已经为您完成了。 查看比较表 - 来自供应商和来自 HubSpot 和 CXL 等公正的第 3 方来源。

我们有一个工具可以帮助您比较和对比 Convert Experiences、Google Optimize、Optimizely、VWO、AB Tasty、Qubit 等。

想了解 CRO 专家对他们如何购买 A/B 测试工具的看法吗？

以下是 Ruben De Boer 对于选择 A/B 测试工具的看法：

首先，当然，您必须确保您有足够的流量进行 A/B 测试，至少您公司的一部分支持测试，并且开发有足够的资源来实施成功的实验。

接下来，考虑您当前和未来的需求。 首先评估当前情况，例如您的目标、需求和参与人员。 例如，如果 IT 完全参与其中，您可以选择服务器端解决方案。 而如果只涉及营销人员，客户端最有可能是要走的路。

然后，不要只看目前的情况，而要考虑几年后你想达到的目标。 那你有什么需求？ 你会扩大实验的数量吗？ 有更多的团队成员使用该工具吗？ 进行不同类型的实验？ 与不同供应商的销售代表讨论提升的可能性。

最后，使用最符合您当前和未来需求的两三个工具进行免费试用。 在免费试用期间，检查该工具的用户友好性、（定位）选项以及适用于您的业务的其他内容（即，它是否适用于您的单页应用程序）。

此外，个人联系也很重要，因为您可能需要他们的客户支持。 例如，是否有入职帮助？ 如果是这样，你对它有多满意？ 另外，请联系他们的客户支持。 除了查看可用的渠道（聊天、邮件、电话）之外，还可以查看它们的响应速度（它们是否在同一时区？）以及它们的帮助程度。 最后，与 IT 一起检查该工具对您的站点性能的影响。

在线对话首席转换经理 Ruben De Boer

这是 Max Whiteside 的看法。 Max 是 Breaking Muscle 的内容主管：

定义测试范围，因为这样做将使您能够限制 A/B 测试工具的测试能力。 您是打算只进行 A/B 测试，还是需要一个可以同时处理多页和多变量测试的工具？

每个工具都以独特的方式运行，并提供不同的测试类型。 因此，请寻找具有您需要的所有功能的工具，这样您就不必随着测试能力的增长而切换工具。

其次，预算 A/B 测试是一个迭代过程，这使得预算成为实施测试环境时的关键考虑因素。 在达到预期结果之前，您可能需要多次重复测试，此时您可以进行下一次迭代。 它需要时间和资源，您的预算将决定其上限。 找一个不会对你的钱包造成重大影响的工具。

在运行测试时，某些测试工具可能会对您的网站速度产生负面影响。 加载缓慢的页面会增加跳出率并激怒用户，从而导致转化次数减少。 在这种情况下，控制和变体都不会以最佳方式执行，即使满足最小样本量，也会导致 A/B 测试结果不可靠。

此外，闪烁效果极小。 当用户在被重定向到变体之前短暂查看原始网页时，会出现闪烁效果。 闪烁会阻碍用户体验并扭曲测试结果。 为了保持 A/B 测试的可靠性，最好选择不会产生闪烁效果的工具。 因此，确定 A/B 测试工具是否会减慢您的网站速度至关重要。

Max Whiteside，Breaking Muscle 的内容主管

与工具联系

到目前为止，您一直是您正在考虑使用的工具的秘密崇拜者。 现在是时候克服你的害羞并建立联系了。

最好的起点是免费试用或演示。

开始免费试用并预订演示

您需要查看该工具的运行情况。

它在您的各种 A/B 测试应用程序中表现如何？ 例如，作为 Shopify（或任何其他电子商务）商店的 CRO，您会想知道它从测试弹出式报价的 CTA 副本到产品图片展示位置的表现如何。

演示向您展示了该工具如何解决您的问题，而免费试用则显示平台是否支持商品声明（即功能、定价、服务、路线图）。

注意：大多数企业级 A/B 测试工具在对您进行资格预审之前不会与您一起进行演示。 他们不提供免费试用。 这可能是您评估过程中的一个盲点。

衡量文化

您可能会问，“为什么文化在我购买的工具中也很重要？”

当您使用 A/B 测试工具时，供应商将成为您的实验文化的一部分。 如果您在商业实践和价值观方面相似，那么这种关系最有效。

不用担心，这不会将您的搜索范围缩小到您只需要考虑 1 或 2 个工具的地方。 好的文化其实并不罕见。 您只是想避免可能会变得太不舒服并过早提示更换工具的摩擦。

那么，您如何衡量 A/B 测试工具的文化？ 您可以查看 Glassdoor 评论。 在那里工作或曾经工作过的人可以对文化提供相当透明的（尽管是匿名的）洞察力。

评估 A/B 测试工具供应商的另一种方法是他们与行业的互动。 他们真的教育空间吗？

您可以在他们的博客和社交媒体页面上找到什么类型的内容？ 业内其他参与者如何与他们互动？

通过 GIPHY

他们是否正在超越他们的工具来帮助您改进流程？ 这不仅仅是发布“我们的工具很棒”的内容。 您可以清楚地发现一个为其受众成功投资的品牌。 很难隐藏如此明亮的光芒。

请求您丢失的信息

是的，您可以要求 A/B 测试工具供应商使用 Request for Information 文档为您填补空白。

RFI 文档是相似的，所以这样的模板可以工作。 除了关于您的组织的介绍性信息和您想要实现的目标之外，您的独特之处在于您提出的问题。 你会想知道

• 供应商的跟踪记录
• 与您的组织类似的客户的成功故事
• 价钱
• 参考资料等

但同样重要的是，获取负责回复 RFI 的人员的姓名和联系信息。

预购装备

购买成功的 A/B 测试工具的部分工作是在购买前进行准备——从没有工具或当前工具过渡到技术堆栈中的新软件。 您需要做什么才能顺利迁移？

首先，向您的团队展示您的选择并获得支持。 如果到目前为止您还没有单独工作，并且您将作为一个团队使用新工具，那么他们需要与您在同一页面上。 让他们知道您选择的供应商。 并告诉他们为什么。

这就是为什么采用结构化方法确实有帮助的原因。 现在，您可以展示您在做出此决定时所经过的细致考虑，以便选择此工具非常有意义。 到目前为止，一切都做得很好，此时买入很容易。

作为一个团队讨论你的决定。 它如何与您实验过程中的当前问题联系起来？ 它如何支持您的增长目标？ 其他用户对该工具有什么看法？ 你从研究中学到了什么？ 它在你的考虑范围内是如何保持的？

此外，关注选择供应商背后的“原因”。 除了该工具的绝对功能之外，您是否会与支持您的测试目标的供应商合作？ 它们是否为您的团队提供充分利用新 A/B 测试工具所需的教育支持？ 供应商对其用户的目标是什么？

然后，起草过渡时间表并准备推出。 迁移需要仔细规划，以防止出现问题和代价高昂的延误。

这就是为什么您需要与支持您的供应商合作的原因。 供应商会协助迁移吗？ 你能把你的数据转移给新的供应商吗？ 是否有健全的入职流程？ 找出完成这项工作所需的专业知识以及每个阶段需要多长时间。

最后，将优化计划的目标归零，按 3-6-9 个月细分。 这样，您就有了季度检查点来评估您做出的决定。 选择的 A/B 测试工具和供应商是否符合您一开始的期望？

这里要小心：期望必须是现实的。 确保您不会根据供应商无法影响的结果来衡量供应商。

让我们把它作为一个可操作的清单，您可以随身携带。

迁移时要牢记的便利因素清单

你想从好的迁移到更好的； 聪明到天才； 令人惊奇到幸福。 这不是偶然发生的。

勾选下面的所有复选框，这样您就可以确定要迁移到的 A/B 测试工具的性能超出您的预期，并帮助您实现实验目标。

• 成本——A/B 测试工具的成本是否能证明您期望的结果是合理的？ 该工具的累积投资如何达到您的预期投资回报率？

• 学习曲线——您不想花费宝贵的实验时间来试图弄清楚如何使用您选择的测试工具来完成基本任务，因为 UI 中充斥着大量您永远不会使用的功能。 阅读评论以了解该工具的学习曲线。

• 闪烁——当用户在 A/B 测试软件向他们展示变体之前看到页面的原始版本在他们的屏幕上闪烁时，就会发生闪烁。 这可能会损坏您的测试结果。
  
  Convert Experiences 等一些工具开发了防闪烁技术，因此不会发生这种情况。 但是许多免费和开源的 A/B 测试工具还没有这种能力。

• 开箱即用的集成——您的 A/B 测试工具不是独行侠。 它必须与您的技术堆栈中的其他工具合作才能为您带来最大价值。 查看您的 CRO 工具附带的开箱即用集成的数量。 它是否与您需要使用的重要服务集成？

• 谷歌分析——确保您的工具与谷歌分析顺利集成。 设置时，这是您必须完成的首要任务之一。 了解您是否可能需要开发人员来帮助使用该工具。

• 目标——目标设定是 A/B 测试的一个组成部分。 它为您的测试添加上下文并说明测试结果的影响。 您的新工具如何处理这个问题？ 您可以从 Google Analytics（分析）导入目标吗？

• 收入跟踪- 迁移时，您希望确保为一次性和多收入事件正确配置收入跟踪。 有些工具需要手动设置。 你不想要那个。
  
  Convert Experiences 自动连接到 Google Analytics Universal 和 Classic，以提取交易、收入和订购商品的价值，以通知测试。

• A/A 测试——新工具是否通过了 A/A 测试？ 如果您可以免费试用 A/B 测试平台，请运行此测试。 这就是你如何知道你的工具已经准备好处理没有偏见的 A/B 测试——或者没有。

• 协作者设置——如果您在团队中工作，这一点尤其重要。 您能否控制对协作者可以查看和更改的内容的访问？

还有这两个要记住的额外注意事项：

1. A/B 测试工具提供什么级别的客户支持？

您评估的另一个考虑点是您作为客户可获得的技术支持水平。

购买 A/B 测试工具可能是一项巨大的承诺。 您需要确保该工具在遇到困难时为您的团队提供足够的技术支持。

市场上顶级 A/B 测试工具提供的支持水平各不相同。 通过一些研究，您可以了解您正在考虑的测试工具是否提供以下全部或组合：

• 实时支持：通过电话或视频通话提供
• 电子邮件支持：由专用电子邮件地址提供。
• 实时聊天：使用内置消息应用程序
• 文档：提供常见问题解决方案的在线文章存储库。
• 自动支持：一组预先录制的响应。

一旦您确认了可用的支持级别，您需要查明驻扎在各种支持渠道中的人员是否是 CRO 专家。 为支持人员选择具有 CRO 专家的工具尤为重要，因为如果您遇到技术问题，他们可以更好地提供您需要的实时帮助。

还值得注意的是，一些 A/B 测试工具提供专门的客户支持作为附加组件，您需要付费或升级到更高的计划才能免费访问。 支付专门的技术支持或升级到远远超过测试需求的计划以获得更好的支持将增加 A/B 测试工具的总体成本。

在 Convert，我们的开发人员和 CRO 专家团队免费为我们的客户提供技术支持。 我们的支持采用实时聊天、在线文档、电子邮件支持和实时支持的形式。

2. A/B 测试工具会影响您的网站速度吗？

购买 A/B 测试工具时的另一个重要考虑因素是它们对网站速度的影响。 一些 A/B 测试工具可以增加您的网站速度并增加加载时间。 缓慢的网站加载时间会影响用户体验，并可能影响您的流量。

让我们深入了解市场上一些顶级 A/B 测试工具如何影响您的网站速度的机制。 A/B 测试工具通常分为两类：

1. 客户端 A/B 测试工具
2. 服务器端 A/B 测试工具

客户端 A/B 测试工具使用存储在访问者浏览器上的 JavaScript 片段来根据您的定位说明更改服务器向访问者显示的内容。 服务器端 A/B 测试工具通过更改从服务器向用户提供准确的内容，而无需触摸用户的浏览器。

服务器端测试工具似乎是最好的选择，但它们可能很昂贵并且与许多用例无关。 您可以在我们的客户端与服务器端测试文章中深入研究差异。

许多顶级 A/B 测试工具都是客户端测试工具。 客户端 A/B 测试工具以两种方式加载：

1.同步

这是您的 A/B 测试软件的 JavaScript 片段在您的网页加载之前完全加载的时候。 This way of loading the scripts prevents flickering. But may cause your page speed to slow down, as the code snippet from your A/B testing solution load time adds to your overall page speed.

2. Asynchronously

This is when the code snippet from your A/B testing platform of choice and web page loads simultaneously. Tools that use this method of loading may be fast but are prone to flickering.

As I mentioned earlier, flickering occurs when the visitor sees the original content before the variation loads.

Convert is one of the fastest A/B testing software on the market. This is thanks to its Smart Insert Technology ^TM which reduces its impact on your site speed.

5 A/B Testing Tools We Like

Where do you start in your search for the perfect A/B testing tool to buy? Right here with our top 5 favorites.

We've considered everything we talked about above and created a list based on what we know about our audience.

让我们潜入吧！

1. Convert Experiences

Convert Experiences is for companies and teams looking to scale up their testing program with a mid-level testing platform that comes at a great price. You get fantastic support through your experimentation growth while staying ahead of privacy and data protection requirements.

Convert seamlessly integrates with over 100 tools in your MarTech stack and frees you from testing limitations you might've experienced with free tools and even some paid testing tools.

What we like about the tool: Everything! We built it

TrustRadius Rating: 9.4 out of 10 (18 reviews)

Pricing: Starts at $699/mo, then $199 for every 100k visitors after that

Free plan or trial? Yes, for 14 days with no credit card info needed to start

Cost per 100k visitors: $199

优点：

• Stable, flicker-free testing
• 3rd-party cookie-free testing with no limits
• Over 100 integrations with other marketing tools (Shopify, WordPress, HubSpot)

缺点：

• Only basic post segmentation is enabled on the kickstart plan

Client-side or server-side tool? 两个都。 You can use a client-side visual editor as well as set up to run custom JS on the server side.

Integration with Google Analytics? 是的。

Core Web Vitals ready? 是的。 You get fast page loading, flicker-free, and minimal effect on CLS. So, your SEO isn't affected.

Frequentist or Bayesian stats? Frequentist two-tailed z tests.

Enterprise Support? 是的。 We serve companies like Sony, Unicef, and Jabra.

Customer Support? Yes, including live chat and a support center. And there's more coming.

Consciousness Quotient (CQ): We're an outspoken campaigner for user privacy and have environmental consciousness deeply embedded in our DNA. We are fully GDPR compliant and don't use tools that aren't GDPR compliant. And we're proudly 15x carbon negative.

Fair TrustRadius review:

2. 喀麦隆

Kameleoon 是当今世界上最受欢迎的 A/B 测试平台之一，也是医疗保健和金融科技公司的最爱。 它以比大多数工具更好的功能为桌面带来了额外的好处。 它还带有出色的用户界面和出色的个性化设置和集成。

为什么我们喜欢这个工具：人工智能驱动的访客细分和全栈个性化选项

TrustRadius 评分： 8.9 分（满分 10 分）（70 条评论）

定价：定制，我们听说每年大约 35,000 美元，具体取决于您的流量

免费计划或试用？ 是的

每 10 万访问者的成本：不适用

优点：

• 先进的防闪烁技术
• 易于使用的所见即所得编辑器
• 与其他营销应用程序顺利集成

缺点：

• 所见即所得编辑器需要一段时间才能加载
• 无法存档测试

客户端还是服务器端工具？ 两个都

与谷歌分析集成？ 是的

Core Web Vitals 准备好了吗？ 是的。

频率统计还是贝叶斯统计？ 没有关于这方面的现成信息。

企业支持？ 是的。 他们的企业客户包括丰田、乐天和雷克萨斯。

客户支持？ 是的。 你也可以找一个客户经理。

Consciousness Quotient (CQ)：它们符合 HIPAA、GDPR 和 CCPA 标准，并且还为您运行的每个 A/B 测试提供灵活的同意管理功能。

公平 TrustRadius 评论：

3. AB 美味

在列出要考虑的最佳 A/B 测试工具时，您肯定希望 AB Tasty 出现在该列表中。 这是一个中级工具，非常适合希望超越基本网络实验并运行可观的测试程序的公司。

尽管它非常坚固，但它具有相对简单的 UI，包含机器学习功能等功能，因此您的网站可以在大流量上运行更复杂的个性化和数据跟踪。

为什么我们喜欢这个工具：简洁的 UI，非常适合集中测试

TrustRadius 评分： 8.7 分，满分 10 分（78 条评论）

定价： 40 万访客的起价为 1,900 美元/月

免费计划或试用？ 不，但您可以申请演示。

每 10 万访问者的成本： ~475 美元

优点：

• 动态小部件
• 非企业团队的中档定价
• 广泛的分析报告

缺点：

• 统计显着性计算器是基本的

客户端还是服务器端工具？ 两个都

与谷歌分析集成？ 是的。

Core Web Vitals 准备好了吗？ 是的，它是一个快速的工具。

频率统计还是贝叶斯统计？ 贝叶斯。

企业支持？ 是的，它们提供企业客户体验。 迪士尼、欧莱雅和 Klaviyo 等公司使用 AB Tasty。

客户支持？ 是的，有实时聊天和知识库。

Consciousness Quotient (CQ)： AB Tasty 是一个注重隐私的品牌，它还通过直接向非政府组织捐赠、回收和赞助蜂箱来产生积极的社会影响。

公平 TrustRadius 评论：

4.优化

Optimizely 是领先的网络实验平台之一，并因其可靠的工具而享有盛誉。 然而，它的定价对于普通的 CRO 团队来说可能非常令人望而却步，因为他们非常关注企业。

除此之外，他们在使 CRO 团队运行高级实验程序和个性化 Web 体验方面做得很好。

为什么我们喜欢这个工具：强大的实验工具与人工智能驱动的个性化相结合

TrustRadius 评分： 8.7 分，满分 10 分（3 条评论）

定价：隐藏，据报道每年约 36,000 美元。

免费计划或试用？ 不，自 2018 年以来没有

每 10 万访问者的成本：不适用于此工具

优点：

• 提供广泛的定位选项
• 易于使用的小部件功能
• 整洁的用户界面

缺点：

• 对于非开发人员而言，与 Google Analytics 集成可能会很复杂
• 非常昂贵

客户端还是服务器端工具？ 两个都。 客户端实验使用 JS 片段，服务器端使用开发人员 SDK 完成。

与谷歌分析集成？ 是的。

Core Web Vitals 准备好了吗？ 是的。

频率统计还是贝叶斯统计？ Optimizely 使用顺序实验，而不是您在其他平台上看到的固定范围实验。

企业支持？ 由于定价，大量迎合企业客户。 客户包括惠普、IBM 和微软。

客户支持？ 是的，包括 24/7 电话号码和帮助资源。

意识商 (CQ)：他们注重隐私，并且有让新员工在第二天就参与社区志愿服务的传统。

公平 TrustRadius 评论：

5.谷歌优化（和优化360）

Google Optimize (GO) 是一个免费的网站优化和实验工具。 它曾经是 Google Analytics 中的内容实验，但现在它是一个独立的服务，用于运行 A/B、重定向、个性化、多变量和横幅测试。

Google Optimize 的高级版本是 Optimize 360​​。它是 GO 的更强大、无限制的版本。 GO 非常适合开始 A/B 测试。 使用 GO 获得的经验很容易滑入中档工具。

为什么我们喜欢这个工具：最好的免费 A/B 测试工具，非常适合开启您的 CRO 之旅

TrustRadius 评分： 7.9 分（满分 10 分）（43 条评论）

定价： Google Optimize 是免费的，但其高级版 Optimize 360​​ 有自定义定价——据传每年约为 150,000 美元。

免费计划或试用？ 是的，对于优化。

每 10 万访问者的成本：不适用于 GO

优点：

• 最容易上手的工具——适合初学者的 UI
• 与 Google Analytics 的最顺畅集成
• 详细的受众细分，得益于谷歌庞大的数据资源

缺点：

• 一次限制为 5 次测试
• 有时会闪烁
• 无法测试移动应用

客户端还是服务器端工具？ 两个都

与谷歌分析集成？ 当然，是的。

Core Web Vitals 准备好了吗？ 您可能会遇到闪烁和 CLS 影响，但这是可控的。

频率统计还是贝叶斯统计？ 贝叶斯检验方法。

企业支持？ 这仅适用于优化工具 360

客户支持？ 免费工具有一个社区和其他帮助资源。 优化 360 客户获得全方位的客户支持。

Consciousness Quotient (CQ)： Optimize 是 Google 的众多产品之一，属于 Google 的碳中和和价值数十亿美元的慈善事业。

公平 TrustRadius 评论：

关键要点

为您的需求找到合适的 A/B 测试软件并不像看起来那么容易。 需要考虑复杂因素，例如您的测试需求、定价、集成、可用技能、设置、培训等。

当您从问题开始时，询问合适的人，建立您的考虑清单，并在仔细分析可能影响您使用 A/B 测试工具的体验的关键因素的基础上构建考虑组，您已经到了一半。

您可以选择使用我们上面列出的 5 种工具开始测试。 但是，如果这不是您的理想之选，那么我们已经为您提供了所需的一切，让您可以研究 50 多种 A/B 测试工具，并找到适合您独特需求的工具。

因为最终的决定权在你。