如何在集群部署模式下管理作业依赖性

Question

当我使用群集模式提交Spark作业时，它会立即返回。并在群集上运行作业。

因此，如果我想在作业A成功完成时提交作业B，则似乎无法在集群部署模式下完成。因为作业A完成时没有任何回调或通知。

Answer 1

除了Apurba所说的那样，您还可以在自己的程序中编写依赖关系，这样做可以在一个程序中运行一些作业。