Question

我正在为我的数据计算SVD。但每当我使用spark-submit提交Spark应用程序时，日志文件都会声明：

WARN ARPACK/BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemARPACK/BLAS

我使用-Pnetlib-lgpl标志构建Spark，并在创建jar文件时在我的sbt文件中包含netlib依赖项：

libraryDependencies ++= Seq(
    "org.apache.spark"  % "spark-core_2.10"              % "1.5.0" % "provided",
    "org.apache.spark"  % "spark-mllib_2.10"             % "1.3.0",
    "com.github.fommil.netlib"  %   "all"   %   "1.1.2"     pomOnly()
)

GCC和Gfortran版本为gcc version 4.8.0 (GCC)。我还安装了BLAS，LAPACK和ATLAS，并按照netlib网站上的说明进行操作：https://github.com/fommil/netlib-java

导入为spark-shell时，import com.github.fommil.netlib._中没有任何迹象表明它未导入。

我已经尝试了一段时间来调试这个问题而且我没有想法。有人帮我解决这个问题。

Answer 1

这是一个众所周知的痛点。

我已成功按照指令@ https://github.com/PasaLab/marlin/issues/1使用英特尔MKL在Spark 1.4.x / 1.5.x中使用这个可怕的东西

我认为大概有一个地方你必须调整这些指令以与ATALAS联系，但它应该是可行的。

Spark不会从netlib

1 个答案: