我有兴趣测试Spark在Mesos上运行。我在我的Virtualbox中创建了一个Hadoop 2.6.0单节点集群,并在其上安装了Spark。我可以使用Spark成功处理HDFS中的文件。
然后我在同一节点上安装了Mesos Master和Slave。我尝试使用these instructions在Mesos中运行Spark作为框架。我在Spark中遇到以下错误:
WARN TaskSchedulerImpl:初始作业未接受任何资源;
检查您的群集UI以确保工作人员已注册并具有 足够的资源
Sparkshell已成功注册为Mesos中的框架。使用单节点设置有什么问题吗?或者我是否需要添加更多Spark工作节点?
我是Spark的新手,我的目标是测试Spark,HDFS和Mesos。
答案 0 :(得分:0)
如果您为火花从属分配了足够的资源,原因可能是防火墙阻止了通信。看看我的另一个答案:
Apache Spark on Mesos: Initial job has not accepted any resources