通过Spark-Submit将pyspark应用程序打包和部署到集群时出错

Question

我的代码结构如下：-

my_app
    |
    |--- common
    |   |
    |   |---init.py
    |   |---spark
    |       |--init.py
    |    
    |   
    |--- subproject1
    |   |    
    |   |-- init.py
    |   |-- main.py
    |   |--job
    |       |
    |       |--myjob.py
    |       |--init.py
    |---setup.py

因此，我的应用程序的入口点是subproject1->main.py。 my_app具有两个模块-common和subproject1。 基本上我想做的就是向我的Spark集群提交以下内容

  

spark-submit --py-files jobs.egg main.py

但是当我提交时，我遇到了两个问题：-

1. 首先main.py在my_app内的子项目下。

2. 在我尝试导入通用模块时从main.py导入错误。

如何解决此问题？