我正在使用Jenkins将火花罐部署到CI / CD管道中。我还没办法提交火花来与Jenkins一起工作。我很好奇是否有人走这条路。
答案 0 :(得分：1)
听起来不是通过直接调用spark-submit来执行CI / CD的正确方法。
考虑解耦作业的jar（下一个Spark应用程序的jar）部署，并将Spark作业提交到集群。
符合您要求的一种解决方案是Spark Job Server
作为替代方案，您可以选择以AWS样式进行操作，就像Spark CI / CD实施的this文档中所述。
答案 1 :(得分：1)
一个简单的解决方案被忽略了，存在一个断开连接的参数。 --conf spark.yarn.submit.waitAppCompletion = false