标签: apache-spark
我试图在Spark中运行以下矩阵乘法。我有一个250k行乘30k列的矩阵。另一个(右)是30k乘30k。虽然像tensorflow这样的东西能够在大约5分钟内完成,但我发现Spark的内存和垃圾收集错误。
rdd.toBlockMatrix .multiply(rightRdd.toBlockMatrix) .toIndexedRowMatrix()
我可以执行特定的调整以完成此操作吗?