ab测试产品功能

Question

如果Yelp希望了解评分是否有助于用户选择商家信息，并且我们使用点击率作为运行ab测试的成功指标，我们怎么知道点击率的重大变化仅仅是由于评分而非其他列表的一部分，如评论？

我们是否必须进行某种用户细分，而不是在运行ab测试之前随机分配用户？

Answer 1

随机化处理除治疗之外的所有其他变量。对统计学意义的检验考虑了治疗和机会之间的选择。只有当您无法进行随机试验时，您才需要控制其他差异因素。

Answer 2

对于大多数实验，您通常希望信任随机化。随机化是一个无偏见的过程，在有足够多的用户的情况下，控制所有可能的混杂因素，包括已知的（例如年龄、性别和 OS）和未知的（例如性格、头发颜色和复杂性），使测试组和对照组之间的比较平衡和公平的。由于两组同时暴露和测量，A/B 测试还可以校正时间和季节性影响。测试组和对照组之间的统计学显着差异可直接归因于所测试的变化。我写了更多关于this in a blog post的文章。

使用自定义用户细分通常只用于极少数情况，在这种情况下，随机化可能会产生不平衡的组。这通常很少见，但举个例子，如果你将一个 100 人的房间分成两组，但比尔·盖茨和埃隆·马斯克在这个房间里。根据您要衡量的指标，它们可能会严重混乱。随机化将使两位亿万富翁有一半时间处于同一组中。在这种情况下，值得进行自定义细分并强制将它们归入不同的组。但这种情况通常很少见，很少会影响点击率等二元指标。