我尝试在单个虚拟机上以独立模式运行带有spark-submit的spark流应用程序,但是工作人员没有被分配给驱动程序。
我一直得到这个警告: "初始工作没有接受任何资源;检查您的集群UI以确保工作人员已注册并具有足够的资源"
但问题是没有其他应用程序在运行,并且有足够的内存,因此资源不是问题。当我查看Spark UI时,我看到该应用程序正在运行,但它正处于" WAITING"状态。
我也得到了这两个警告: "您的主机名HOST_NAME解析为环回地址" &安培; "如果您需要绑定到另一个地址"
,请设置SPARK_LOCAL_IP我尝试修改spark / conf / slaves,并设置IP地址而不是HOST_NAME,但仍然没有解决方案。
你能帮忙吗。
答案 0 :(得分:0)
如错误消息所述,您可能没有在该计算机上启动Worker。 启动Master进程后,必须启动一个分配给先前启动的Master的Worker。
在开始这两个过程之后,请检查Web ui,最可能是在http://<server-url>:8080
上,您应该可以看到分配了1个Worker的Master。
如果一切顺利,您应该可以将作业提交给船长。