我正在使用Spark ALS隐式推荐代码。使用多核/并行性训练模型可以正常工作:
model = ALS.trainImplicit(ratings, rank, numIterations, lambda_, blocks=-1, alpha=alpha)
我还配置了Spark上下文参数以使用多个核心,我可以看到模型训练部分正在使用多个核心。
但是当我使用预测函数时,例如:
Item = model.recommendUsers(item_id, 1000000)
这很慢(100万用户需要70秒)
我找不到任何关于如何使预测和推荐函数使用多个内核的文档,或者如何对此进行多线程处理。这可能吗?