Question

我有一个火花工作，可以很好地启动，但是所有执行程序容器都显示：

INFO YarnAllocator: Received 1 containers from YARN, launching executors on 0 of them.

mapreduce工作是这样的：

>>> Invoking Shell command line now >>

Stdoutput spark.driver.cores is set but does not apply in client mode.
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat

并且它没有开始工作。我尝试将spark.executor.instances减小为1并起作用，但是当我变回4时，它像这样挂起。

我认为这是配置问题，我该怎么办？我的配置：

spark.driver.cores=1
spark.driver.memory=2g
spark.yarn.am.cores=1
spark.yarn.am.memory=4096m
spark.executor.instances=4
spark.executor.cores=4
spark.executor.memory=2g

Answer 1

我认为您应该检查spark集群是否可以正常提交简单的作业，例如：

./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
examples/jars/spark-examples*.jar \
10

Spark：容器已启动，但尚未启动

1 个答案: