我正在使用以下命令
运行.py格式的python文件(也包含spark上下文)CALL %SPARK_HOME%\bin\spark-submit2 D:\KOCKPIT\DB0E0\src\Location.py
正在成功运行。为了使我的文件保持Bytecode格式,我使用以下命令将文件格式更改为.pyc
%PYTHONPATH%\python -m packageall -f src
现在,当我尝试使用相同的命令运行我新创建的.pyc文件时,我收到以下错误。
在网上进行一些研究后,我发现在批处理命令中使用 - py-files 将适用于python文件
即使我的py文件运行良好,但是根据执行.pyc文件中的错误我包含了语句
if __name__ == "__main__":
在我的代码中也会出现同样的错误。
我的文件基本上是输出格式为.py。
的pyspark文件如果需要解决此问题,我也愿意发布我的代码。
答案 0 :(得分:0)
只需将xx.pyc
重命名为xx.py
即可。不需要--py-files
。我认为发生此错误是因为spark-submit
无论如何都试图找到.py
。