如何评估基于内容的推荐系统

时间:2011-05-29 12:59:10

标签: recommendation-engine

我正在构建一个基于内容的电影推荐系统。这很简单,只需让用户输入电影标题,系统就会找到一部具有最相似功能的电影。

在计算相似度并按降序排序后,我找到相应的5个最高相似度得分的电影并返回给用户。

到目前为止,当我想评估系统的准确性时,一切运作良好。我在Google上找到的一些公式只是根据评级值评估准确性(比较预测评级和实际评级,如RMSE)。我没有将相似性得分改为评级(从1到5的比例),所以我不能应用任何公式。

您能否建议将相似度得分转换为预测评分,以便我可以应用RMSE?或者有没有解决这个问题的想法?

1 个答案:

答案 0 :(得分:13)

你有任何基本事实吗?例如,您是否有关于用户过去喜欢/看过/购买的电影的信息?它不一定是评级,但为了评估建议,您需要了解有关用户偏好的一些信息。

如果您这样做,那么除了RMSE之外还有其他方法来衡量准确度。当我们预测评级时使用RMSE(正如您所说的那样是实际评级和预测之间的误差),但在您的情况下,您正在生成前N个建议。在这种情况下,您可以使用精确度和召回来评估您的建议。它们非常适用于信息检索应用程序(请参阅Wikipedia),它们在推荐系统中也很常见。您还可以计算F1指标,它是精度和召回的调和平均值。你会发现它们是非常简单的公式,并且很容易实现。

Guy Shani撰写的“评估推荐系统”是一篇关于如何评估推荐系统的非常好的论文,并将为您提供一个很好的洞察力。你可以找到论文here