我有一个关于在网站上针对不同页面运行A / B测试的问题,如果我担心它们会干扰测试结果。并不重要,但我使用Visual Website Optimizer进行测试。
例如,如果我在订单放置流程中的不同页面上运行了两个A / B测试,那么我是否应该担心测试会对同一转换目标的其他目标转换率产生影响?例如,我在网站上运行了两个测试,一个针对产品详细信息页面,另一个针对购物车。最后,我想知道任一页面的变体是否会影响订单的展示位置转化率。我不确定如果它们同时运行,我是否应该关注不同测试结果之间的干扰。
我的直觉告诉我,我们不必担心,因为每个页面上的访问者将分布在另一页的每个变体中。因此,产品详细信息页面版本A访问者将分布在购物车的A和B版本中,因此即使访问者看到不同版本的购物车,产品详细信息页面的变体A对订单转换的影响仍将正确测量另一个测试。当然,我可能完全错了,希望有统计背景的人可以更准确地回答这个问题。
我能想到的唯一问题是,一个页面的变体和另一个页面的变体之间的组合比其他组合更好地协同工作。但这似乎不太可能。
我不确定我是否能够清楚地解释这个问题,所以如果我的问题有意义,请告诉我。我搜索了网络和Stackoverflow的答案,但我找不到任何运气。
答案 0 :(得分:0)
我理解你的问题并没有快速的答案,这取决于你正在运行的测试类型。有时,不同页面上的A / B测试会相互影响,特别是如果它们处于相同的操作序列中,例如结帐。
一个简单的例子,如果在您的第一页上,变体A表示"点击此处查看定价"和变化B说"点击这里获得500美元的现金"。您可能会发现B上的点击率较高,并声明一个成功。用户点击后,在下一页上,系统会要求您输入他们的信用卡详细信息,其中的变化是"付费"按钮为绿色或红色。在这种情况下,来自变体A的人可能更有可能实际输入他们的CC细节和转换,而不是可能感到被欺骗的变体B.
我注意到,当网站处于开创性阶段时,他们正试图了解客户的反应情况,这些多变量测试更为重要。然而,当存在一些稳定性和流量时,变化趋于非常微妙,并且整体消息和流量是相同的,并且A / B测试变得更加微观细化。在这些情况下,多页交叉测试的价值可能较低(第一页的背景颜色是否意味着整个过程中有三页?可能不是!)。
希望这个答案有所帮助!