pyspark ml推荐 - 所有推荐

时间:2016-02-01 14:15:44

标签: apache-spark pyspark apache-spark-ml

Hy,

我是Spark的新手,我尝试使用ML推荐。

我的代码

df = sqlContext.createDataFrame(
[(0, 0, 4.0), (0, 1, 2.0), (1, 1, 3.0), (1, 2, 4.0), (2, 1, 1.0), (2, 2, 5.0)],
["user", "item", "rating"])

als = ALS(rank=10, maxIter=5)

model = als.fit(df)

model.userFactors.orderBy("id").collect()

如何为所有电影的所有用户获得2推荐?

谢谢你的时间。

1 个答案:

答案 0 :(得分:5)

ml.recommendation.ALSModel无法直接实现。您可以使用transform方法

users = df.select("user").distinct()
items = df.select("item").distinct()

model.transform(users.join(items))

然后过滤结果,但效率极低。据我所知,最好在这里使用mllib.recommendation.ALS

from pyspark.mllib.recommendation import ALS, Rating

model = ALS.train(df.rdd.map(lambda r: Rating(*r)), 10, 5)
model.recommendProductsForUsers(2)