火花块矩阵乘法缩放很差

时间:2018-03-27 00:30:32

标签: apache-spark

我试图在Spark中运行以下矩阵乘法。我有一个250k行乘30k列的矩阵。另一个(右)是30k乘30k。虽然像tensorflow这样的东西能够在大约5分钟内完成,但我发现Spark的内存和垃圾收集错误。

rdd.toBlockMatrix
  .multiply(rightRdd.toBlockMatrix)
  .toIndexedRowMatrix()

我可以执行特定的调整以完成此操作吗?

0 个答案:

没有答案