Question

我试图将MLlib用于矩阵乘法问题。

我知道Spark MLLib使用本机库，它们需要存在于节点上。（它没有安装火花）。

所以我已经在所有节点上安装了libgfortran库（我也是这样做的 Apache Spark -- MlLib -- Collaborative filtering）

但是在群集上运行时我仍然会遇到此错误。

Lost task 0.3 in stage 2.0 (TID 11, ibm-power-6.dima.tu-berlin.de): java.lang.UnsatisfiedLinkError: org.jblas.NativeBlas.dgemm(CCIIID[DII[DIID[DII)V
    at org.jblas.NativeBlas.dgemm(Native Method)
    at org.jblas.SimpleBlas.gemm(SimpleBlas.java:247)
    .....

如何解决此错误？

Answer 1

Spark暂时没有使用jblas;据我所知，目前不是自一年多以前发布的1.4.0以来。您链接到Spark 0.9.0文档链接的答案，这绝对是古老的。所以最简单的解决方案似乎是使用Spark的更新版本。

如果无法做到这一点，或者遇到必须再次使用jblas的情况：看起来您正在使用IBM PowerLinux硬件。支持此平台was added to jblas in version 1.2.4，因此您必须确保至少使用该版本。

Apache Spark - MLlib - 矩阵乘法

1 个答案: