标签： apache-spark pyspark continuous-integration continuous-deployment
有人为pyspark作业建立了CI CD管道吗？有人可以共享任何示例项目吗？或有关如何执行此操作的任何想法。当前，我们将所有代码部署在AWS S3上，并使用--files，--pyfiles参数在EMR上运行spark-submit。有没有办法将所有内容捆绑到一个zip文件中并部署作业？还是更好的方法？