如何在A / B测试后测量模型？

Question

我正在开发一个已经工作多年的系统，现在他们决定添加一个推荐引擎。在进行A / B测试后，我们将决定模型。现在，有没有办法衡量这个模型的表现有多好？

Answer 1

您的目标指标是实验设计的问题，通常没有人能够比您更好地回答这个问题。通常，您需要一种衡量参与度的方法。其中一些将立即生效，但某些影响可能需要更长时间才能注册，例如当用户记住您的推荐但在一段时间后返回给它时。直接影响，如点击推荐项目，很容易记录，因为它发生在当前用户体验的时间范围内。长期影响难以记录，因为您需要一种方法将潜在行动与前一段时间发生的建议相关联。