使用矩阵分解为推荐系统

时间:2016-11-03 10:03:02

标签: c# algorithm collaborative-filtering matrix-factorization

我正在使用C#6.0中基于项目的协作过滤器为餐馆推荐系统。我想尽可能地设置我的算法,所以我已经做了一些关于预测用户尚未审查的餐馆评级的不同方法的研究。

我将从我完成的研究开始

首先,我想建立一个基于用户的协同过滤器,使用用户之间的pearson关联,以便能够看到哪些用户能够很好地融合在一起。
这个问题的主要问题是能够计算这种相关性所需的数据量。首先,您需要在同一家餐厅每2位用户进行4次评论。但我的数据将非常稀少。 2个用户可能不会审查完全相同的4家餐馆。我想通过扩大匹配条款来解决这个问题(即不匹配相同餐馆的用户,但是在相同类型的餐馆),但这给了我一个问题,即很难确定我将在相关性中使用哪些评论,因为用户可以在类型为“快餐”的餐厅留下3条评论。其中哪一项最适合其他用户对快餐店的评论?

经过更多研究后,我得出结论,基于项目的协作过滤器优于基于用户的协作过滤器。但同样,我遇到了数据稀疏性问题。在我的测试中,我成功地能够计算用户尚未审查的餐馆评级的预测,但是当我在稀疏数据集上使用该算法时,结果不够好。 (大多数时候,两家餐馆之间没有相似之处,因为没有2位用户评价过同一家餐厅。) 经过更多研究后,我发现使用矩阵分解方法可以很好地处理稀疏数据。

现在我的问题

我一直在互联网上寻找使用这种方法的教程,但我没有任何推荐系统的经验,而且我对代数的了解也很有限。我理解方法的正义。你有一个矩阵,你有1边用户,另一边有餐馆。每个单元格是用户在餐厅上给出的评级 矩阵分解方法创建两个这样的矩阵,一个具有用户和餐馆类型之间的权重,另一个具有餐馆和这些类型之间的权重。

我无法弄清楚的是如何计算餐馆类型与餐馆/用户之间的权重(如果我正确理解矩阵分解)。我找到了几十个计算这些数字的公式,但是我无法弄清楚如何将它们分解并应用到我的应用程序中。

我将举例说明数据在我的应用程序中的外观:
在该表中,U1代表用户,R1代表餐馆。 每个餐厅都有自己的标签(餐厅类型)。即R1标有'意大利语&#39 ;, R2有'快餐'等。

   |  R1  |  R2  |  R3  |  R4  |
U1 |  3   |  1   |  2   |  -   |
U2 |  -   |  3   |  2   |  2   |
U3 |  5   |  4   |  -   |  4   |
U4 |  -   |  -   |  5   |  -   |

是否有人可以指出我正确的方向或解释我应该如何在我的数据上使用此方法?任何帮助将不胜感激!

1 个答案:

答案 0 :(得分:2)

矩阵分解假设"潜在因素"例如,对用户的意大利食品的偏好以及食品的食品的含义与矩阵中的评级有关。

因此整个问题转变为矩阵重构问题,存在许多不同的解决方案。一个简单的,可能很慢的解决方案是(除了ALS和其他一些矩阵重建的可能性)使用梯度下降算法逼近矩阵。我推荐这篇简短的文章ieee article about recommender systems

提取潜在因素是一个不同的问题。

因此GDM的实现可能如下:

public void learnGDM(){
//traverse learnSet
for(int repeat = 0; repeat < this.steps; repeat++){
    for (int i = 0; i < this.learnSet.length; i++){
        for (int j = 0; j < this.learnSet[0].length; j++){
            if(this.learnSet[i][j] > 0.0d){
                double Rij = this.learnSet[i][j];

                for(int f = 0 ; f <= latentFactors; f++){
                    double error = Rij - dotProduct(Q.getRow(i), P.getRow(j));/*estimated_Rij;*/
                    //ieee computer 1.pdf
                    double qif = Q.get(i, f);
                    double pif = P.get(j, f);
                    double Qvalue = qif + gradientGamma * (error * pif - gradientLambda * qif);
                    double Pvalue = pif + gradientGamma * (error * qif - gradientLambda * pif);
                    Q.set(i,f, Qvalue);
                    P.set(j, f, Pvalue);
                }
            }
        }
    }
    //check global error
    if(checkGlobalError() < 0.001d){
        System.out.println("took" + repeat + "steps");
        break;
    }
}

其中learnset是一个包含Ratingmatrix的二维数组,如ieee文章中所述。 GDM算法每次迭代都会改变评级向量P和Q,以便它们接近评级矩阵中的评级。那么&#34;没有给出&#34;评级可以通过P和Q的点积来计算。未给定评级的最高估计将是建议。

这就是开始。 GDM的许多优化和其他算法或修改版本也可以并行运行。

一些好的读物:

recommender systems in the Encyclopedia of Machine Learning

presentation on matrix factorization

recommender systems&lt; --- big one ^^