Question

我有Spark Standalone Cluster，它什么都不做。它有这样的属性。

spark.executor.memory 5g
spark.driver.memory 5g
spark.cores.max 10
spark.deploy.defaultCores 5

我有一个创建SparkContext（指向我的群集）的应用程序，然后在rdd上应用一些操作。在第一次采取这一非常流行的错误后，它失败了：

Initial has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

确定。据我所知，在我询问了比集群可以提供给我更多的内核/内存后，我遇到了这个错误。没关系，但我不会在我的应用程序中询问任何资源（我既没有指定--executor-memory也没有指定--total-executor-cores）那么它可以是什么？

PS：群集似乎很好，因为我可以通过./bin/submit提交一些jar，它可以工作。但是使用这个应用程序，它甚至不会出现在服务器Web界面的“正在运行的应用程序”部分中。

Answer 1

您可以检查防火墙设置。

我运行PySpark shell的主机上的主机防火墙拒绝了从工作节点返回的连接尝试。允许所有涉及的节点之间的所有流量后，问题得到了解决！驱动程序主机是同一个OpenStack项目中的另一个VM，因此，允许同一项目中的VM之间的所有流量都可以做到安全性。