多节点火花簇上的spark-shell无法在远程工作节点上进行执行

Question

在独立模式下安装的spark集群，第一个节点上有2个节点，有spark主节点运行，另一个节点上有spark worker。当我尝试使用字数代码在工作节点上运行spark shell时，它运行正常，但是当我尝试在主节点上运行spark shell时，它会提供以下输出：

WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

未触发执行程序运行作业。即使有工人可以激发它给出这样的问题。感谢任何帮助，谢谢

Answer 1

您使用客户端部署模式，因此最好的选择是执行程序节点无法连接到本地计算机上的驱动程序端口。它可能是防火墙问题或广告IP /主机名的问题。请确保：

• spark.driver.bindAddress
• spark.driver.host
• spark.driver.port

使用预期值。请参阅Spark documentation的网络部分。

缺乏资源的可能性较小。请检查您是否要求提供的资源多于工人提供的资源。