构建Python的流程工具

Question

我是Apache Developer的Java开发人员（Stand-Alone）应用程序。要创建Artifacts，我使用Gradle和ShadowJar插件。

一些队友想要使用Python。目前，他们使用JetBrains PyCharm编写这些Python脚本并在Spark Cluster Environment上远程执行它们。但是，这个过程不能很好地扩展（如果涉及多个文件怎么办？）我正在寻找Python生态系统中的解决方案。问题是我和我的团队成员都不是Python专家（实际上其他团队成员不是开发人员，但必须编写代码。管理决策......），所以我们不知道什么是Python开发的最佳实践。

我尝试过PyGradle，但感觉并不顺畅，尤其是Apache Spark。我绊倒了像Pip，Pex，Setuptools，VirtualEnv这样的名字。那些工具是什么？他们如何相互干扰？

为了防止X-Y问题：我想要一个可以构建，（单元）测试并使用一个命令打包的代码库（比如gradle build）。生成的工件应该能够在Spark Cluster上部署和执行。

Answer 1

我也是这个世界的新手，想要在AI创业中设置流程。我认为http://pybuilder.github.io/至少是自动化的良好起点，因为我试图在我们中间设置这个。