在hdfs上使用mesos和spark包运行spark

时间:2016-04-18 22:30:23

标签: hadoop apache-spark hdfs mesos mesosphere

我尝试使用mesos运行pyspark,并将我的spark包上传到本地可访问的hdfs。

但是,每当我尝试启动shell时,总是会出现以下错误

16/04/18 22:21:33 INFO CoarseMesosSchedulerBackend: Blacklisting Mesos slave a8509a2e-fad8-485d-850e-8243fd2ee449-S0 due to too many failures; is Spark installed on it?

我已将以下内容添加到spark-env.sh

export MESOS_NATIVE_JAVA_LIBRAR=/usr/local/lib/libmesos.so
export SPARK_EXECUTOR_URI=hdfs://ipaddress:9000/spark/spark-1.6.1-bin-hadoop2.6

但似乎奴隶仍然无法找到执行的火花包。我该如何解决这个问题?

0 个答案:

没有答案