如何使用不同的配置自动部署Spark应用程序?

时间:2020-05-12 02:13:32

标签: apache-spark devops continuous-deployment

我有一个Spark应用程序。对于每种情况,逻辑都是简单且标准的。该应用程序从Kafka主题读取,进行一些转换,然后写入文件系统上的某些位置。

我有部署问题。我想在GIT上保留应用程序配置。执行相同的应用程序jar需要大约300种不同的方案。该应用程序是一个长期运行的spark应用程序。

如果有新配置(新方案),我想将其自动部署到群集(提交新应用)。如果现有代码有更改,我想重新部署该应用程序而不接触其他应用程序。如果更改应用程序代码,则要将其部署到所有应用程序。

您怎么解决这个问题?

0 个答案:

没有答案