Mahout spark-shell初始工作尚未接受任何资源

Question

我刚刚在Mahout和Spark中发起并尝试在此链接上从mahout的页面运行示例：

Playing with Mahout's Spark Shell

似乎一切都开始了，但是当我尝试运行follow命令时，它会返回以下错误：

val y = drmData.collect(::, 4)

  

[阶段0：＆gt; （0   + 0）/ 2] 15/09/26 18:38:09 WARN TaskSchedulerImpl：初始工作没有接受任何资源;检查您的群集UI以确保这一点   工人已注册并拥有足够的资源

任何人都可以帮助我！

我的环境是：

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
export MAHOUT_HOME=/home/celso/Downloads/mahout/mahout
export SPARK_HOME=/home/celso/Downloads/spark-1.4.1
export MASTER=spark://celso-VirtualBox:7077

我也尝试将MAHOUT_LOCAL设置为true。

Answer 1

Mahout 0.11.x Spark Shell尚未与Spark 1.4.1兼容。

最新版本Mahout 0.11.0需要Spark 1.3.x。

Mahout 0.10.2与Spark 1.2.x及更早版本兼容。

Answer 2

我刚才做了这个例子。

我刚刚将环境变量MASTER设置为local：

export MASTER=local 

intead of

export MASTER=spark://hadoopvm:7077

这个例子有效！