如何为--py-files依赖关系创建zip文件

时间:2018-11-15 01:10:02

标签: python apache-spark pyspark

我有一个小项目,需要用python代码运行Spark-submit。这是代码link

[XXXXX pysparktest]$ ls
README.md  spark_sample.py  utils

如果我使用下面的spark-submit来运行此代码,则它成功。

$ spark-submit spark_sample.py

但是,我想将utils包制作为zip文件,并通过--py-files的帮助将zipfile传递给Spark提交

[XXXXXX pysparktest]$ ls
README.md  spark_sample.py  utils.zip

[XXXXXX pysparktest]$ spark-submit --py-files utils.zip spark_sample.py

当我尝试直接压缩utils软件包并通过spark-submit运行时,出现错误

Traceback (most recent call last):
  File "/home/mapr/pysparktest/spark_sample.py", line 1, in <module>
    from utils import SparkOperations
ImportError: No module named utils

任何人都可以帮助我如何制作zip文件并使用--py-files参数传递zip文件。

0 个答案:

没有答案