Question

我是一个火花新手。我正在使用pyspark进行ALS推荐。装配需要几分钟，运行相当快。但是，model.transform函数需要很长时间，并且需要在集群中有更多的节点。

我想知道我是否可以做任何优化来处理model.transform函数？
下面使用的方法是什么？它只是简单的矩阵乘法吗？如果是这样，我不能只使用另一个矩阵乘法库吗？

Answer 1

是的，ALS算法的本质是矩阵乘法。首先要检查你的日志中是否有这种警告

15/06/15 11:17:36 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
15/06/15 11:17:36 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS
15/06/15 11:17:36 WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeSystemLAPACK
15/06/15 11:17:36 WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeRefLAPACK

如果你这样做 - 你应该添加外部线性代数库作为依赖。请参阅此guide

Spark ALS转换性能

1 个答案: