提交火花期间应用程序罐子尺寸的性能影响?

时间:2019-07-31 05:07:12

标签: apache-spark spark-submit

我有一个200 MB的胖罐。现在我想对此进行火花提交吗?这会造成性能问题吗?

以前,我们有一个大小为2 MB的jar,所有其他外部jar依赖项都是libs参数的一部分。

我想知道的另一件事是应用程序代码从驱动程序流到执行程序节点?是整个200 MB的jar从驱动程序转移到执行程序,还是必需的序列化类从驱动程序转移到执行程序?这种转移发生的机理是什么?

0 个答案:

没有答案