如何在具有统计有效性的动态页面上进行A / B测试

Question

对于那些对统计感兴趣或有A / B测试经验的人来说，这是一个问题。

我是时尚电子商务网站的PM，我们希望在数千个产品页面上进行A / B测试。 50％的访客应该看到原始按钮，而剩下的50％应该看到更大的按钮。

我们一直在使用一家小型测试公司，它提供了一个很好的工具，但我们不确定这种测试的统计有效性。基本上我们只对一两个像素的按钮进行了更改，它立即显示与原始按钮完全不同的转换率。到目前为止，我们每个按钮的观看次数约为4,000次。

我不确定是否确实可以在数千个产品页面上运行A / B测试，而实际上很多事情会影响转换率（产品页面上可用的尺寸，项目的可取性）？这是野兽的本性吗？

由于

海伦。

Answer 1

听起来你需要这个链接：

http://elem.com/~btilly/effective-ab-testing/

显然，它需要统计数据的知识。所有代码示例都在perl和Javascript中。