无尽的INFO客户端:针对Spark提交的application_xx(状态:ACCEPTED)消息的应用程序报告

时间:2018-01-21 17:19:22

标签: hadoop apache-spark yarn

当我在集群模式下使用Harnop和Yarn提交Spark应用程序时。 纱线客户端状态卡在接受状态,它永远不会更改为运行。我正在使用具有1个Master 2 Slaves的Centos 7 Hadoop集群

我使用浮动IP(我们外部关联)登录openstack这个IP与我们在系统中进行ifconfig的IP地址不同。

以下是日志:

spec

尝试了人们建议但没有任何效果的所有选项。我看到节点有足够的空间但不确定为什么这不起作用。任何帮助表示赞赏。感谢

1 个答案:

答案 0 :(得分:0)

  

未解析的datanode注册:无法解析主机名(ip = 192.168.198.11,hostname = 192.168.198.11)

我认为主机名不应该是IP,但您需要在每台计算机上更新/etc/hosts以告知其从站和主站的位置,或者您需要静态IP或使用DNS服务器解析浮动在网络上的机器的地址