显示执行程序和执行程序内存的数量

Question

我正在使用命令

运行pyspark作业

spark-submit ./exp-1.py --num-executors 8 --executor-memory 4G

有没有办法确认在执行期间是否反映了这些配置？

Answer 1

有一个命令verbose用于在spark作业运行时检查配置。

spark-submit --verbose ./exp-1.py --num-executors 8 --executor-memory 4G