我有一个正在云集群上运行的spark应用程序。我的应用程序有工作,而所有其他库都打包成一个胖子罐。
我想知道这两个调用之间的区别:
选项1
spark-submit --deploy-mode client --master yarn --conf
spark.hadoop.fs.s3.canned.acl=BucketOwnerFullControl --conf
spark.driver.maxResultSize=5g --class
com.help.xyz.Job --conf
spark.app.name=zzzAppName uber.jar <params>
选项2
spark-submit --deploy-mode client --master yarn --conf
spark.hadoop.fs.s3.canned.acl=BucketOwnerFullControl --conf
spark.driver.maxResultSize=5g --class
com.help.xyz.Job --conf
spark.app.name=zzzAppName --jars uber.jar <params>
这个uber.jar的大小也有限制吗?