确定A / B测试的样本量,超过2个变体

时间:2016-05-19 06:13:37

标签: ab-testing multivariate-testing hypothesis-test abtest experimental-design

如果我们想要确定此类测试的样本大小,我们应该使用哪种R函数:

10个广告,我们希望使用测试来确定哪些广告具有最佳点击率。我们可以计算流量和点击次数。

1 个答案:

答案 0 :(得分:0)

我不认为变体体验的数量会有所不同。在每个中,您将度量与控制中的相同度量进行比较,因此在每个中您将拥有自己的重要样本大小:与对照的差异越小,样本量越大。

近年来积极争论的重点是:在运行时如何优化体验之间的流量分配,以便在调用所有变体时,大多数都经历了您的获胜体验。谷歌(实验)为此设计了一种他们称之为多臂Bandid算法的东西,但据我所知,它还没有在同行评审期刊上发表,可能是有原因的。

祝你好运!