A / B测试统计

Question

我正在尝试对不同的A / B测试进行一些统计分析，以确定哪种替代方案更好，并且发现了相关的相互矛盾的信息。

首先，我对几件不同的事情感兴趣：

• 通过计算事件来衡量成功的测试，例如转发或发送的电子邮件
• 通过计算收入来衡量成功的测试
• 测试只有两个选择（控制和新）
• 测试有多种选择（控制和多个新的）

我希望找到一套简单的公式或规则来进行此分析，但发现的问题多于答案。

This site说您无法比较多替代测试;你只能进行成对比较并进行卡方分析，看看整个测试是否具有统计学意义。

This site建议进行A / B / C / D测试的方法（从幻灯片74开始），使用G-Test分析结果（它说它与卡方相关）但不是'清楚使用软糖因素的细节。它还建议您只能使用A / B / C / D方法来消除替代方案，直到您在A / B比较中获得明显的赢家。

This site给出了A / B / C / D测试（包括控制）的示例，并展示了如何比较转换率以确定获胜者。与this approach不同，它不建议消除替代方案，而是立即选择胜利者（假设有统计上显着的结果）。

也许我很天真，但我认为现在有一个统计分析库来处理这个问题。我还希望了解有关解决这些问题所需的算法/方程式的更多信息。我的大学统计课程已经很长时间了。

Answer 1

对于事件生成比较，您可以使用Beta distributions进行处理。每个备选方案都有一些未观察到的 p ，即生成事件的概率。如果您从 N 中观察到 X 阳性事件，那么您对 p 的不确定性可以通过 Beta（X + 1，N）建模-X + 1）

您可以通过查看 P（pA＆gt; pB）来比较两个备选方案，其中 pA 和 pB 是两个Beta分布。计算不等概率的方法可以在paper中找到。

您还可以计算E [pA-pB]，效果大小或计算相同的置信区间。