由什么决定在控制台进度栏中显示的一个阶段的Spark阶段编号和任务编号?

时间:2018-11-02 14:23:02

标签: apache-spark pyspark apache-spark-sql

enter image description here

我对Spark如何确定其用于任务的阶段感到困惑。

我已经检查了thisthis的答案。对于我上传的示例屏幕截图,我了解到Spark使用2个阶段来完成我的任务。我也了解到(对于最后一行),对于阶段1,我已经完成了1494个任务,当前正在执行64个任务,总共有3388个任务阶段1。

我的问题是:

  • 什么决定我有2个阶段来完成我的请求?
  • 什么决定了我
  • 3388总共有stage 1个任务,对3388总共有stage 2个任务?
  • 与我提交火花有关的决定性因素是什么
    spark.dynamicAllocation.maxExecutors
    之类的配置 executor-cores吗?

谢谢!

0 个答案:

没有答案