我对Spark如何确定其用于任务的阶段感到困惑。
我已经检查了this和this的答案。对于我上传的示例屏幕截图,我了解到Spark使用2个阶段来完成我的任务。我也了解到(对于最后一行),对于阶段1,我已经完成了1494
个任务,当前正在执行64
个任务,总共有3388
个任务阶段1。
我的问题是:
3388
总共有stage 1
个任务,对3388
总共有stage 2
个任务?
spark.dynamicAllocation.maxExecutors
或executor-cores
吗?谢谢!