比较两个网页（A / B测试） - 两个样本部分测试

Question

我的网页上有两处更改，但我正在监控一堆变量。所以我能从我的网站监控实验中提取的内容如下：

Original solution: Visitors,   body link click-visitors,    most popular click-visitors,    share-visitors.
Solution with some change: Visitors,   body link click-visitors,    most popular click-visitors,    share-visitors.

我想知道简单的2样本部分测试。对每个受监控变量和计算部分测试进行原始和更改的解决方案。

我不知道它是否告诉我一些关于整体结果的事情 - 如果原始解决方案比解决方案更好或者有所改变。

有什么更好的东西可以用于此目的。我很感激你的任何建议。

Answer 1

听起来像你在混淆两件事：感兴趣的商业指标和统计意义的测试。前者是您想要衡量的一些业务测量。这可能是销售，转换，订阅率或许多其他。参见例如this paper对使用错误指标的危险进行了很好的讨论。统计显着性是一种测试，它告诉您到目前为止您所看到的测量数量是否足以证实两种体验之间的差异不太可能是随机的。参见例如this paper进行了很好的讨论。