浏览以下资源来定义我的Spark作业的资源配置,然后出现一些问题。
拥有
(1)spark-submit --master yarn --driver-cores 5 --executor-cores 5 ...
和
(2)spark-submit --master yarn --conf spark.driver.cores=5 --conf spark.executor.cores=5 ...
(1)和(2)是否相同?如果没有,两者之间有什么区别?我猜测相同的答案将适用于内存配置。
如果我使用pyspark运行我的应用,那么spark.executor.memory
和spark.executor.pyspark.memory
之间有什么区别吗?
资源:https://mapr.com/blog/resource-allocation-configuration-spark-yarn/