初始工作尚未接受任何资源

Question

我的问题类似于报道“初始工作未接受任何资源”的其他海报。我阅读了他们的建议，仍然无法从Java提交作业。我想知道是否有更多安装Spark经验的人看到了明显的错过或知道如何解决这个问题？

Spark : check your cluster UI to ensure that workers are registered

我的配置如下： （VM Fedora） MASTER：版本2.0.2，预构建w / hadoop。 工人：单一实例。

（主机/ Windows Java应用程序） 客户端是一个示例JavaApp，配置为

conf.set("spark.cores.max","1");
conf.set("spark.shuffle.service.enabled", "false");
conf.set("spark.dynamicAllocation.enabled", "false");

附件是Spark UI的快照。据我所知，我的工作已收到，提交并正在运行。我似乎并没有过度使用CPU和RAM。

Java（客户端）控制台报告

12:15:47.816 DEBUG parentName: , name: TaskSet_0, runningTasks: 0
12:15:48.815 DEBUG parentName: , name: TaskSet_0, runningTasks: 0
12:15:49.806 WARN Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
12:15:49.816 DEBUG parentName: , name: TaskSet_0, runningTasks: 0
12:15:50.816 DEBUG parentName: , name: TaskSet_0, runningTasks: 0

Spark工作日志报告。

16/11/22 12:16:34 INFO Worker: Asked to launch executor app-20161122121634-0012/0 for Simple 
Application
16/11/22 12:16:34 INFO SecurityManager: Changing modify acls groups to: 
16/11/22 12:16:34 INFO SecurityManager: SecurityManager: authentication disabled; ui acls dis
abled; users  with view permissions: Set(john); groups with view permissions: Set(); users 
 with modify permissions: Set(john); groups with modify permissions: Set()
16/11/22 12:16:34 INFO ExecutorRunner: Launch command: "/apps/jdk1.8.0_101/jre/bin/java" "-cp " "/apps/spark-2.0.2-bin-hadoop2.7/conf/:/apps/spark-2.0.2-bin-hadoop2.7/jars/*" "-Xmx1024M" "-Dspark.driver.port=29015" "org.apache.spark.executor.CoarseGrainedExecutorBackend" "--driver-url" "spark://CoarseGrainedScheduler@192.168.56.1:29015" "--executor-id" "0" "--hostname" "192.168.56.103" "--cores" "1" "--app-id" "app-20161122121634-0012" "--worker-url" "spark://Worker@192.168.56.103:38701"

Answer 1

您是否有任何防火墙阻止通信？正如我的另一个答案所述：

Apache Spark on Mesos: Initial job has not accepted any resources：

  

虽然大多数其他答案都侧重于火花从站上的资源分配（内核，内存），但我想强调防火墙可能会导致完全相同的问题，尤其是当您在云平台上运行spark时。

     

如果您可以在Web UI中找到火花从属，您可能已经打开了标准端口8080,8081,7077,4040。但是，当您实际运行作业时，它使用SPARK_WORKER_PORT，spark.driver.port和spark。 blockManager.port，默认情况下是随机分配的。如果您的防火墙阻止了这些端口，则主服务器无法从从服务器检索任何特定于作业的响应并返回错误。

     

您可以通过打开所有端口来运行快速测试，并查看从属设备是否接受作业。