优化Sample Size calculator表明,较高的基线转换率会导致A / B测试所需的样本量较小。因此,我不想最大限度地提高转换目标,而是希望最小化相反的目标,即不达到目标。
对于转换率低于50%的每个目标,其补码将高于50%,因此如果有针对性,则需要较小的样本量。
示例:我不是衡量访问payment-success.html
的所有用户,而是衡量不访问它的所有用户,并尝试将其最小化。如果我的推理是正确的,那通常需要更小的样本量!
优化只允许我将网页浏览定位为目标,而不是不 -pageviewing。
我意识到我可能错过或误解了一些重要的东西,但如果是的话,它是什么?
答案 0 :(得分:3)
从统计数据来看,您的方法没有任何问题,但不幸的是,它不会产生降低持续时间的预期效果。
虽然你会减少误差范围,但你会按比例减少升力,导致你花费相同的时间来达到信心。
由于电梯计算为基准转换率的百分比,因此较大基线的转换率的相同变化将产生较小的升力。
假设您的实际转化率为10%,测试结果将其增加至12%。逆转换率为90%,降至88%。在这两种情况下,它都是2%的变化,但是2%是一个更大的变化,10%(它提升20%)比90%(仅提升-2.22%)。
实际上,你犯了一个更大的风险,就是用反向错误地将人们分成目标。您知道,击中成功页面的人应该计入目标。在用户看到实验计入目标后,我非常确定您的建议会导致每个网页浏览不在成功页面上。
假设您正在测试主页。人A和B都落在主页上并查看实验。
如果您的目标是在成功页面上设置的,则只有B人会触发目标。如果在所有其他页面上设置了目标,则两个人都会触发目标。这显然不是相反的。
事实上,如果在用户第一次看到实验后有任何页面需要到达成功页面(因此,除非您正在测试结帐的最后一步),所有人将触发反向网页浏览目标(无论是否点击成功页面)。
优化网页浏览目标不仅适用于实验的网址定位中包含的网页。他们被视为任何看过实验的人,以及随后点击该页面的任何人。
答案 1 :(得分:1)