Question

纱线上的spark-shell（客户端模式）使用$ SPARK_HOME / conf / spark-defaults.conf中指定的纱线配置（创建5个执行器）

<div id="container" width="100%" height="100%">
  <div id="originalCircle" class="circle">
    <svg width='100' height='100'>
      <circle id='circleSvg' cx="50" cy="50" r="40"
              stroke="none" stroke-width="4" fill="rgb(185, 185, 185)" />
    </svg>
  </div>
</div>

但是纱线上的spark-submit（客户端模式）没有（spark-submit只是为2个执行者创建）

Answer 1

由于您提交的作业不知道要使用哪种配置，因此请尝试明确设置，例如：

spark-submit --class "main.scala.Main" \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --num-executors 6 \
    --executor-cores 2 \
    --queue default \
    sparkcompanymerge.jar

或者使用spark documentation

中指定的--conf标志

spark-shell使用适当的纱线资源设置，但不提供spark-submit

1 个答案: