标签: apache-spark devops continuous-deployment
我有一个Spark应用程序。对于每种情况,逻辑都是简单且标准的。该应用程序从Kafka主题读取,进行一些转换,然后写入文件系统上的某些位置。
我有部署问题。我想在GIT上保留应用程序配置。执行相同的应用程序jar需要大约300种不同的方案。该应用程序是一个长期运行的spark应用程序。
如果有新配置(新方案),我想将其自动部署到群集(提交新应用)。如果现有代码有更改,我想重新部署该应用程序而不接触其他应用程序。如果更改应用程序代码,则要将其部署到所有应用程序。
您怎么解决这个问题?