如何衡量点击率的统计显着性？

Question

我正在构建一个开源项目，该项目将衡量各种Facebook广告的点击率差异是否显着。从http://adwords.google.com/support/aw/bin/answer.py?hl=en&answer=167743获取灵感，我编写了以下ruby代码（假设任何未定义的方法完全按照他们的说法进行）。

点击率定义为点击广告的人与看到该广告展示的人数相比的百分比。

  # ** exponentiation
  # * multiplication
  # / division
  def standard_deviation
    (experiment_ctr/(control_ctr**3) * (no_of_clicks_for_control +
                                        no_of_clicks_for_experiment - product_of_ctrs *
                                        total_no_of_impressions ) / product_of_impressions) ** 0.5
  end

 def z_score
   (ratio_of_experiment_ctr_to_control - 1) / standard_deviation
  end

我从Google网站上复制了标准偏差代码但对我来说看起来很可疑。有没有人想过这是否正确？

非常感谢。

Answer 1

它看起来并不熟悉，因为它不是大多数人习惯看到的普通意义测试。最重要的测试是由（严重过于概括，请没有火焰）制定的：

1. 计算样本统计量，X
2. 确定该统计信息的预期值，E
3. 确定该统计量的标准差，S
4. 计算检验统计量T =（X - E）/ S
5. 根据T的假设分布确定T是否显着。

对于常见的平均显着性检验，E是样本均值，S是我们最熟悉的样本标准差。

此显着性检验基于样本统计量的某些比率。 Google提供的（E-C）/ C公式。根据谷歌的统计，这一统计数据的预期值为（1 /（1-p）） - 2，其标准差为（p /（（C + E）*（1-p）^ 3））^ 0.5 。所以，那些应该是上面插入T公式的数字。谷歌解释中的z得分。

所以，即使公式看起来很奇怪，它也是基于完善的基础知识。你应该可以自信地使用它。