标签: scala apache-spark distributed-computing
我需要找到一种方法来计算Spark中某种分布式数据类型的矩阵逆。数据是纯数字形式的,在Rowmatrices / DataFrames / RDDs中执行此操作的任何方式都将非常有用。尽管有一些类似此类的Stack Overflow帖子,但它们涉及到转换为本地数据类型,这对于我正在处理的数据量来说根本不可行。
我已经研究过在Spark中对Scala和DenseMatrices使用微风,但是似乎它们没有分布并且可能没有所需的可伸缩性。