Spark应用程序之间的依赖关系

时间:2018-02-27 03:11:53

标签: apache-spark

在Apache Spark中,有没有办法提交多个应用程序,其中一些应用程序取决于一个/一些其他应用程序的输出,以便Spark解析依赖关系并让应用程序等待其他需要的应用程序先完成?

或者我是否必须将所有内容合并到一个大型应用程序中?

Spark本身有什么可用的东西,或Spark上的一些标准库/框架可以做到吗?

1 个答案:

答案 0 :(得分:1)

似乎需要控制火花作业。首选使用shell脚本或control-m或oozie或airflow或autosys或tivoli等。这些脚本旨在为控制工作流程提供大量灵活性。