及时安排火花工作

Question

这是每日/每周安排Spark Jobs的推荐工具。 1）Oozie 2）路易吉 3）阿兹卡班 4）Chronos 5）气流

提前致谢。

Answer 1

从此处更新我以前的答案：Suggestion for scheduling tool(s) for building hadoop based data pipelines

• Airflow：首先尝试这个。体面的UI，Python-ish作业定义，非程序员半可访问，依赖声明语法很奇怪。
  • Airflow内置支持事实，通常需要重新运行和/或回填作业预定作业。确保构建管道以支持此功能。
• Azkaban：非常好的UI，相对简单，非程序员可以访问。 LinkedIn上有悠久的历史。
  • Azkaban强制简化（不能使用不存在的功能），其他巧妙地鼓励复杂性。
  • 查看Azkaban CLI项目以创建程序化作业。 https://github.com/mtth/azkaban（示例https://github.com/joeharris76/azkaban_examples）
• Luigi：好用户界面，工作流程是纯Python，需要扎实掌握Python编码和面向对象的概念，因此不适合非程序员。
• Oozie：疯狂的基于XML的作业定义。这里是龙。 ; - ）
• Chronos：¯\ _（ツ）_ /¯

理念：

更简单的管道比复杂的管道更好：更易于创建，更易于理解（特别是在您不创建时）并且更易于调试/修复。

当需要复杂的操作时，您希望以完全成功或完全失败的方式封装它们。

如果你能使它成为幂等的（再次运行会产生相同的结果），那就更好了。