标签: apache-spark spark-submit
我有一个200 MB的胖罐。现在我想对此进行火花提交吗?这会造成性能问题吗?
以前,我们有一个大小为2 MB的jar,所有其他外部jar依赖项都是libs参数的一部分。
我想知道的另一件事是应用程序代码从驱动程序流到执行程序节点?是整个200 MB的jar从驱动程序转移到执行程序,还是必需的序列化类从驱动程序转移到执行程序?这种转移发生的机理是什么?