在Apache Spark中,有没有办法提交多个应用程序,其中一些应用程序取决于一个/一些其他应用程序的输出,以便Spark解析依赖关系并让应用程序等待其他需要的应用程序先完成?
或者我是否必须将所有内容合并到一个大型应用程序中?
Spark本身有什么可用的东西,或Spark上的一些标准库/框架可以做到吗?
答案 0 :(得分:1)
似乎需要控制火花作业。首选使用shell脚本或control-m或oozie或airflow或autosys或tivoli等。这些脚本旨在为控制工作流程提供大量灵活性。