分层抽样用于ab测试

时间:2020-02-04 13:24:14

标签: statistics ab-testing statistical-test

我想设计一个a / b测试来测试网站用户界面上的更改,并且我有用户来自哪个市场(非重叠)的数据。首先,我不确定是否应该考虑“分层”,如果我确实需要考虑分层,是否应该这样做:

  1. 使用功效分析来计算总体所需样本量,然后按比例将总体样本量分布到每个层中,这样我们就可以知道采样时每个层需要多少个样本?

  2. 需要对每个阶层进行功率分析,以便每个阶层都能取得显着的测量结果?

我的感觉是第一选择,就好像我的目标是要获得总体结果的显着结果一样,功效分析应该在整体水平上进行,即使它可能在某些层次中显示出很小的样本,但这种情况仍会有所改善测试错误。

0 个答案:

没有答案