在spark提交作业中找不到依赖项python模块

时间:2018-06-21 13:23:05

标签: pyspark databricks spark-submit

我正在使用作业api运行databricks spark_submit_task。我在参数部分使用“ --py-files”指定了所有pyspark依赖.py文件。但是,当我尝试在主文件中使用“ from xxx import”时,xxx找不到模块错误。我实际上正在使用如下示例语法,

"spark_submit_task":{ "parameters":[ "--py-files","dbfs:/user/krishna/test1.py,dbfs:/user/krishna/test2.py", "dbfs:/user/krishna/test.py", "arg1", "arg2", "arg3" ] }.

我将在名为“ test”的主要py文件中导入test1和test2。

No module named test1

我这里缺少什么吗?预先感谢。

0 个答案:

没有答案