我正在构建一个基于内容的电影推荐系统。这很简单,只需让用户输入电影标题,系统就会找到一部具有最相似功能的电影。
在计算相似度并按降序排序后,我找到相应的5个最高相似度得分的电影并返回给用户。
到目前为止,当我想评估系统的准确性时,一切运作良好。我在Google上找到的一些公式只是根据评级值评估准确性(比较预测评级和实际评级,如RMSE)。我没有将相似性得分改为评级(从1到5的比例),所以我不能应用任何公式。
您能否建议将相似度得分转换为预测评分,以便我可以应用RMSE?或者有没有解决这个问题的想法?
答案 0 :(得分:13)
你有任何基本事实吗?例如,您是否有关于用户过去喜欢/看过/购买的电影的信息?它不一定是评级,但为了评估建议,您需要了解有关用户偏好的一些信息。
如果您这样做,那么除了RMSE之外还有其他方法来衡量准确度。当我们预测评级时使用RMSE(正如您所说的那样是实际评级和预测之间的误差),但在您的情况下,您正在生成前N个建议。在这种情况下,您可以使用精确度和召回来评估您的建议。它们非常适用于信息检索应用程序(请参阅Wikipedia),它们在推荐系统中也很常见。您还可以计算F1指标,它是精度和召回的调和平均值。你会发现它们是非常简单的公式,并且很容易实现。