dse spark-submit：提交作业时未使用的核心（运行应用程序“Cores = 0”，其中3个工作者可用，每个4个核心）

Question

我正在向我的spark dse集群发送一份工作，该集群由3名工人组成，每人有4个核心。

作业已正确发送到我的群集，但是内核保持为零并且作业正在等待资源。这3个工作空闲，每个工作4个核心。我不明白他们为什么不介入。

See spark ui screenshot here

使用以下内容发送作业：sudo -u cassandra dse spark-submit --master spark://XX.XX.XX.XXX:7077 --executor-cores=4 --total-executor-cores=4 --executor-memory=16g --class com.MyClass /home/spark.jar

并给我以下消息：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

火花日志没什么特别之处。 有什么想法吗？

Answer 1

您使用./bin/Debug/发送作业，但每个工作人员只有--executor-memory=16g。

尝试使用8g运行它，你应该没问题