spark-submit:工人没有被分配给主人

时间:2016-03-11 00:04:23

标签: apache-spark spark-streaming

我尝试在单个虚拟机上以独立模式运行带有spark-submit的spark流应用程序,但是工作人员没有被分配给驱动程序。

我一直得到这个警告: "初始工作没有接受任何资源;检查您的集群UI以确保工作人员已注册并具有足够的资源"

但问题是没有其他应用程序在运行,并且有足够的内存,因此资源不是问题。当我查看Spark UI时,我看到该应用程序正在运行,但它正处于" WAITING"状态。

我也得到了这两个警告: "您的主机名HOST_NAME解析为环回地址" &安培; "如果您需要绑定到另一个地址"

,请设置SPARK_LOCAL_IP

我尝试修改spark / conf / slaves,并设置IP地址而不是HOST_NAME,但仍然没有解决方案。

你能帮忙吗。

1 个答案:

答案 0 :(得分:0)

如错误消息所述,您可能没有在该计算机上启动Worker。 启动Master进程后,必须启动一个分配给先前启动的Master的Worker。

在开始这两个过程之后,请检查Web ui,最可能是在http://<server-url>:8080上,您应该可以看到分配了1个Worker的Master。

如果一切顺利,您应该可以将作业提交给船长。