如果A / B测试的样本量大于总体样本,该怎么办?

时间:2019-02-02 21:38:19

标签: hypothesis-test statistical-test statistical-sampling

我有7337个客户(选择,因为他们只有一个预订从三月八月2018)的列表。我们将与他们联系,并尝试测试这些活动对其销售的影响。这样做的想法是,与他们联系将使他们预订更多商品,并增加这个不活跃的群体的销售额。

我必须设置A / B测试,并且目前无法进行样本量计算。

这是我的示例数据: Data

第一列是其ID,第二列是该组在一月份的2周总销售额(我花了2周的时间,因为该组的客户很少购买)。

我确定的指标是每位客户的收入(RPC =总收入/总客户),因此我可以同时考虑订单数量和该组的平均订单价值。

该组的RPC为$ 149,482.7 / 7337 = $ 20.4

我想能够在80%的功率和5%的显着性水平在此指标来检测至少增加5%。首先,我计算了效果大小。

数据集的标准偏差= 153.9 效果大小=(1.05 * 20.4-20.4)/153.9 = 0.0066

然后我使用R中的pwr软件包来计算样本大小。

  

pwr.t.test(d = 0.0066,sig.level = 0.05,功率= 0.80,类型= 'two.sample')

 Two-sample t test power calculation 

          n = 360371.048
          d = 0.0066
  sig.level = 0.05
      power = 0.8
alternative = two.sided

但是我得到的样本大小为360,371。这大于我的人口总数(7337)。

这是否意味着我无法以足够的功率运行测试?我可以确定减小样本大小而又不影响重要性或功效的唯一方法是增加效果大小,以确定最小增加50%,这将使我得到n = 3582。

像一个相当高的影响,这声音我不知道那的影响高是合理的预期。

这是否意味着我不能在这里运行A / B试验,测定冲击?

0 个答案:

没有答案