spark-submit是否将压缩的python脚本发送到集群中的所有节点?

时间:2018-01-10 20:09:07

标签: python apache-spark pyspark

我对spark-submit的行为感到困惑,而在线文档并没有让我得到答案。假设我有一个Python驱动程序,它依赖于我编写的一些其他模块。为了工作,我必须压缩这些模块并使用我的spark-submit命令包含压缩文件。这些模块是否分布到集群中的每个节点?

0 个答案:

没有答案