Apache Spark和Mesos在单个节点上运行

时间:2016-04-12 17:51:08

标签: apache-spark hdfs mesos

我有兴趣测试Spark在Mesos上运行。我在我的Virtualbox中创建了一个Hadoop 2.6.0单节点集群,并在其上安装了Spark。我可以使用Spark成功处理HDFS中的文件。

然后我在同一节点上安装了Mesos Master和Slave。我尝试使用these instructions在Mesos中运行Spark作为框架。我在Spark中遇到以下错误:

  

WARN TaskSchedulerImpl:初始作业未接受任何资源;
  检查您的群集UI以确保工作人员已注册并具有   足够的资源

Sparkshell已成功注册为Mesos中的框架。使用单节点设置有什么问题吗?或者我是否需要添加更多Spark工作节点?

我是Spark的新手,我的目标是测试Spark,HDFS和Mesos。

1 个答案:

答案 0 :(得分:0)

如果您为火花从属分配了足够的资源,原因可能是防火墙阻止了通信。看看我的另一个答案:

Apache Spark on Mesos: Initial job has not accepted any resources