在新闻网站上进行A / B测试以提高相关性

Question

如果您正在运行一个新闻网站，该网站创建了10个热门新闻报道的列表，并且您想对您的算法进行调整，看看人们是否更喜欢新的热门故事，那么您将如何处理？

简单点击与帖子条目相关联的数据库中的日志记录？

A / B测试，您将在哪个版本的算法中显示A组，另一个版本显示为B组并测量点击次数？

您的决定是基于哪些特征更改是否更好？

Answer 1

A / B测试似乎是一个良好的开端，并随机化参与者。你必须记住它们，所以他们永远不会看到它们。

您可以将其视为行为心理学实验，进行T检验等......

Answer 2

除了监控点击次数之外，监控他们查看他们点击的故事的时间也可能会有所帮助。这是更复杂的数据，但提供了另一层次的信息。然后，您不仅可以看到您选择的故事是否能够吸引用户的注意力，而且故事能够保留故事。

您可以进行统计分析（即Tim建议的T检验），但您可能不会在任何一项措施上得到足够低的标准偏差来证明其显着性。虽然，但这并不重要：您需要的只是其中一种算法具有更高的平均点击次数和/或花费的时间。希望没有必要愚弄假设检验。

当然，总是可以选择只询问用户推荐是否相关，但这可能对您的情况不可行。