Google实验表现优异与否？

Question

今天我在Google Analytics中遇到了一些奇怪的事情。我的一个实验结束时的概率超过了94.7％的原始概率，优于原始的52％，仍然处于状态＆＃34;没有找到胜利者。＆＃34;

有人遇到过这种情况吗？为什么会这样？

Answer 1

这意味着虽然您的版本比您的控件更好，但它们的胜率并不足以达到95％confidence interval。换句话说，你有一个胜利者，但它没有统计学意义，或者这个测试的结果有可能是随机的。

如果没有看到展示次数和转化次数，就很难更具体。我的猜测是，此测试的转换率非常低，获胜版本的改进量非常小，或两者兼而有之。

您有几个选择如何继续。

1. 仅使用对照和最强的变体重复测试。通过仅使用两个版本重复测试，您的测试可能会达到显着性。
2. 实施最强大的变体并找到其他要测试的东西。这可能是我选择的。理想情况下，您希望识别对转化率影响最大的页面元素。

无论哪种方式，我都会结束当前的测试。在这一点上，通过让它运行更长时间没有任何好处。