如何计算ab测试样本大小

Question

您是否知道用于计算每个变体的ab测试样本大小的公式：

1. 基线转换率
2. 最低可检测效果
3. 统计意义
4. 统计权力

这是一些计算样本量的在线工具：

• https://www.optimizely.com/resources/sample-size-calculator

• http://www.evanmiller.org/ab-testing/sample-size.html

Answer 1

对于给定的功效、假阳性率、最小可检测效应 (MDE) 和基线转化率，可以通过比较原假设和备择假设下的图表来确定公式。

Gerald Van Belle 写了一篇book called "Statistical Rules of Thumb" 来评论这种方法。以下是第 2 章中涵盖样本大小的快照。

当您将替代假设和零假设的临界值相等时，可以推导出该公式，从而得出以下公式：

这些都是范贝勒教科书的截图。