需要在A / B测试中进行Bonferroni校正吗？

Question

我是数据科学领域的新手。我遇到了以下声明，内容如下：

1) More metrics we choose in our A/B testing, higher the chance of getting significant difference by chance.

2) To eliminate this problem we use Bonferroni correction method.

第一个陈述是什么意思？它如何增加获得误报的机会？ Bonferroni校正方法对我们有何帮助？

感谢您的帮助。谢谢！

P.S .：我尝试用Google搜索答案，但没有任何简单的解释。

Answer 1

好吧， p 值为0.05（这是常用的统计显着性水平），您将在5％的时间内获得假阳性结果。因此，如果在分析中您进行了一项测试，则假阳性的可能性为5％。如果您有两个测试，则第一个将有5％，第二个将有5％。 等等。因此，对于每个其他测试，您的风险都会增加。不过，由于要将 total 的风险水平保持在0.05，您可以设置更严格的统计显着性水平（较小的 p 值），或者使用某种统计方法进行校正进行多次比较。 Bonferroni校正就是这样的方法之一。