A / B测试：在后续测试中要比较哪些版本

Question

我正在讨论在A / B测试之后运行跟进测试但没有产生显着结果。因此，我们测试了现有的控制页面（C），其中水平布局与带有列布局的新变体（V1）。执行两个月后，变体V1的收入比控制页面C高2％，但击败原始版本的机会仅为58％。因此我们决定停止测试，因为它似乎不太可能获得显着的结果。

现在我们要修改变体并开始另一个测试。我的想法是创建一个新的变体（V2）并针对旧的控制页面（C）进行测试：C vs. V2。

但我的同事更愿意测试性能更好的V1变化与另一种变化：V2 vs. V1。

处理此问题的正确方法是什么？我们应该测试C vs. V2 - 或V2与V1？

Answer 1

听起来您在C上创建V1所做的更改对转换率没有统计上的显着影响。

根据您网站上的流量，有两种方法可以设置下一个测试：

• 如果您的网站没有大量流量，您可以将V2与C或V1进行比较（无论您选择哪个是主观的，都可以根据您自己的喜好）。
• 如果您的网站流量很大（如果花了两个月的时间确认测试结果不是很重要，那么您可能会觉得不是很重要），您可以尝试测试所有三种版本A / B / C格式，用于验证第一次测试的结果。要仔细检查的一件事是使用Sample Size Calculator来确保您的实验有足够的样本量。

Answer 2

第一个后续应该是：什么使V1的收入增加2％？

• 是否由点击的特定元素引起？
• 是因为更频繁地访问了一个页面/链接吗？

根据您从问题中学到的知识，您可以将您学到的知识应用到您的控件或V2中。

继续迭代（C> V1＆gt; V2）非常重要，分析测试同样重要，这样我们就可以从中学习！