我正在使用作业api运行databricks spark_submit_task。我在参数部分使用“ --py-files”指定了所有pyspark依赖.py文件。但是,当我尝试在主文件中使用“ from xxx import”时,xxx找不到模块错误。我实际上正在使用如下示例语法,
"spark_submit_task":{ "parameters":[ "--py-files","dbfs:/user/krishna/test1.py,dbfs:/user/krishna/test2.py", "dbfs:/user/krishna/test.py", "arg1", "arg2", "arg3" ] }.
我将在名为“ test”的主要py文件中导入test1和test2。
No module named test1
我这里缺少什么吗?预先感谢。