具有超过2个分裂的分裂测试的显着性检验

Question

对于超过两次实验的百分比指标，您应该使用什么重要性测试？

例如，

Version | Clicks | Impressions
A       | 5      | 1,763
B       | 4      | 1,672
C       | 2      | 1,689

我们对verison A确实优于其他两个人有多确定？

Answer 1

在过去，我个人在顶部和底部之间进行了成对的G检验，将信心乘以n选择2的软糖因子，以说明有n个选择2个可能的对的事实最极端的。从理论上讲，这是过于保守的，但它对我有用。

有关详情，请参阅http://elem.com/~btilly/effective-ab-testing/。