Google Web Optimizer（A / B测试）为什么没有明确的赢家？

Question

我previously asked获胜组合出现在 Google的网络优化工具上需要多长时间，但现在我在A / B测试中遇到了另一个奇怪的问题：

过去两天谷歌宣布有一个“高信心赢家” 98.5％击败原来的变异 27.4 ％即可。太好了！

我决定让它完全确定，但发生了一些奇怪的事情：今天Google表示他们“尚未收集到足够数据以显示任何重大结果”（如下所示） ）。当然，这些数字已经略微，但它们仍然很高： 96.6％击败原作的机会 22％。

那么，为什么Google现在不太确定呢？

如果从拥有统计上显着的“高信心”赢家，到没有足够的数据来计算一个？我的数字是否太小，谷歌无法绝对确定或是什么？

感谢您的任何见解！

Answer 1

  

怎么可能有一个   具有统计学意义的“高   信心“赢家，没有   有足够的数据来计算一个？

所有的统计测试都有一个叫p-value的东西，这是通过随机机会获得观察结果的可能性，假设被测试的内容之间没有差异。因此，当您进行测试时，您需要一个小的p值，以便您对结果充满信心。

因此，GWO的p值必须在1.5％到3.4％之间（我猜它是2.5％，至少在这种情况下，它可能取决于组合的数量）

所以当（100％ - 击败％的机会）＆gt; p值，然后GWO将说它没有收集到足够的信息，并且如果组合具有（100％ - 击败％的机会）＆lt; p值然后找到胜利者。显然，如果该线刚刚划过，那么它可以很容易地返回更多的数据。

总结一下，你不应经常检查结果，你应该设置一个测试，然后忽略它很长一段时间然后检查结果。

  

Google的数字太小了吗？   绝对肯定还是什么？

没有