我有一个小项目,需要用python代码运行Spark-submit。这是代码link。
[XXXXX pysparktest]$ ls
README.md spark_sample.py utils
如果我使用下面的spark-submit来运行此代码,则它成功。
$ spark-submit spark_sample.py
但是,我想将utils包制作为zip文件,并通过--py-files的帮助将zipfile传递给Spark提交
[XXXXXX pysparktest]$ ls
README.md spark_sample.py utils.zip
[XXXXXX pysparktest]$ spark-submit --py-files utils.zip spark_sample.py
当我尝试直接压缩utils软件包并通过spark-submit运行时,出现错误
Traceback (most recent call last):
File "/home/mapr/pysparktest/spark_sample.py", line 1, in <module>
from utils import SparkOperations
ImportError: No module named utils
任何人都可以帮助我如何制作zip文件并使用--py-files参数传递zip文件。