使用mlib执行spark-shell，错误：对象jblas不是包org的成员

Question

在spark-shell中，当我执行import org.jblas.DoubleMatrix时，它将在RHEL上抛出“错误：对象jblas不是包org的成员”。

实际上，我搜索了关于“jblas”并在我的mac pro上安装了来自https://gcc.gnu.org/wiki/GFortranBinaries#MacOS的“gfortran”。

我的火花版本是spark-1.4.0-bin-hadoop2.6.tar或spark-1.5.1-bin-hadoop2.6.tar，可直接从官方网站下载，也就是说我没有从源代码构建。

Answer 1

此步骤可以是可选的，它会在您的笔记本电脑存储库中安装jblas jar。

git clone https://github.com/mikiobraun/jblas.git
cd jblas
mvn install

进入spark目录

cd /Users/erichan/Garden/spark-1.5.1-bin-cdh4

使用packages选项启动spark shell，如果没有执行第一步，则应为jblas提供正确的maven坐标：

bin/spark-shell --name my_mlib --packages org.jblas:jblas:1.2.4-SNAPSHOT --driver-memory 4G --executor-memory 4G --driver-cores 2