Spark YARN群集/客户端模式驱动程序和执行程序配置

时间:2020-05-15 18:04:55

标签: apache-spark pyspark yarn

浏览以下资源来定义我的Spark作业的资源配置,然后出现一些问题。

拥有

(1)spark-submit --master yarn --driver-cores 5 --executor-cores 5 ...

(2)spark-submit --master yarn --conf spark.driver.cores=5 --conf spark.executor.cores=5 ...

(1)和(2)是否相同?如果没有,两者之间有什么区别?我猜测相同的答案将适用于内存配置。

如果我使用pyspark运行我的应用,那么spark.executor.memoryspark.executor.pyspark.memory之间有什么区别吗?

资源https://mapr.com/blog/resource-allocation-configuration-spark-yarn/

0 个答案:

没有答案
相关问题