Question

我正在尝试在Mac OS X上安装MLLib。在linux上我只需按照这篇文章（Apache Spark -- MlLib -- Collaborative filtering）安装gfortran。我在我的Mac上安装了gfortran。但是，当我跑：

from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.classification import SVMWithSGD
data = [
    LabeledPoint(0.0, [0.0]),
    LabeledPoint(1.0, [1.0]),
    LabeledPoint(1.0, [2.0]),
    LabeledPoint(1.0, [3.0])
]

svm = SVMWithSGD.train(sc.parallelize(data))

我得到了：

14/10/17 10:24:56 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
14/10/17 10:24:56 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

我不确定在我的Mac上成功安装MLLib需要遵循哪些步骤。我使用Spark 1.1.0（预构建）运行Mac OS 10.9。

Answer 1

Installing Apache Spark应隐式安装MLlib。尝试安装Homebrew，xcode-select，java，scala和spark。请参阅所提及的链接以了解分步过程。

Answer 2

MLLib是Apache Spark的一部分，您无需单独安装。

该错误消息警告您，它找不到BLAS的本地实现，而后退到F2J。造成这种情况的原因很可能是通过brew或spark.apache.org

的tar.gz安装了spark

两个发行版都缺少使用veclib的编译标志。

要解决此问题，您可以提供依赖项（com.github.fommil.netlib:all:1.1.2或使用-Pnetlib-lgpl编译源代码的火花（有关基本操作方法，请参见Failed to load implementation NativeSystemBLAS HiBench，或者阅读https://spark.apache.org/docs/latest/building-spark.html了解更多信息）详细信息）

Answer 3

我关注了这篇文章https://medium.freecodecamp.org/installing-scala-and-apache-spark-on-mac-os-837ae57d283f

安装brew
xcode-select --install
brew cask install java
brew install scala
brew install apache-spark

您现在有了火花。运行Scala shell

spark-shell

运行python shell

pyspark

要运行Scala文件，它必须具有main方法。做

spark-submit file.scala

在Mac OS X上安装Spark MLLib

3 个答案: