为什么我无法在Optimizely中实现目标的补充?

时间:2016-03-30 10:53:37

标签: web ab-testing optimizely

优化Sample Size calculator表明,较高的基线转换率会导致A / B测试所需的样本量较小。因此,我不想最大限度地提高转换目标,而是希望最小化相反的目标,即达到目标。
对于转换率低于50%的每个目标,其补码将高于50%,因此如果有针对性,则需要较小的样本量。

示例:我不是衡量访问payment-success.html的所有用户,而是衡量访问它的所有用户,并尝试将其最小化。如果我的推理是正确的,那通常需要更小的样本量!

优化只允许我将网页浏览定位为目标,而不是 -pageviewing。
我意识到我可能错过或误解了一些重要的东西,但如果是的话,它是什么?

2 个答案:

答案 0 :(得分:3)

从统计数据来看,您的方法没有任何问题,但不幸的是,它不会产生降低持续时间的预期效果。

虽然你会减少误差范围,但你会按比例减少升力,导致你花费相同的时间来达到信心。

由于电梯计算为基准转换率的百分比,因此较大基线的转换率的相同变化将产生较小的升力。

假设您的实际转化率为10%,测试结果将其增加至12%。逆转换率为90%,降至88%。在这两种情况下,它都是2%的变化,但是2%是一个更大的变化,10%(它提升20%)比90%(仅提升-2.22%)。

实际上,你犯了一个更大的风险,就是用反向错误地将人们分成目标。您知道,击中成功页面的人应该计入目标。在用户看到实验计入目标后,我非常确定您的建议会导致每个网页浏览不在成功页面上。

假设您正在测试主页。人A和B都落在主页上并查看实验。

  • 人A访问另外1页并离开
  • B人访问另外1页并购买

如果您的目标是在成功页面上设置的,则只有B人会触发目标。如果在所有其他页面上设置了目标,则两个人都会触发目标。这显然不是相反的。

事实上,如果在用户第一次看到实验后有任何页面需要到达成功页面(因此,除非您正在测试结帐的最后一步),所有人将触发反向网页浏览目标(无论是否点击成功页面)。

优化网页浏览目标不仅适用于实验的网址定位中包含的网页。他们被视为任何看过实验的人,以及随后点击该页面的任何人。

答案 1 :(得分:1)

只是为了回答这是否可能(不解决您的设置是否会产生相同的结果),您是对的,即Optimizely的网页浏览目标不允许,但您可以使用正则表达式匹配类型来实现您想要的效果(请参阅第3点here中的网址匹配类型')。在这种情况下,它看起来像这样,取自这个答案here(这也解释了在正则表达式中匹配所涉及的复杂性,表明为什么Optimizely没有构建浏览产品的网页浏览量。)

^((?!payment-success\.html).)*$

希望这可以帮助你到达你想要的地方。