没有调度程序，是否可以将Apache Airflow用于编排任务？

Question

我正在尝试使用Apache Airflow Framework开发舞蹈编排体系结构，但我不希望DAG以预定的方式运行。

我读到Apache Airflow框架可用于服务编排。但是我不需要任何调度，我只需要框架来在工作流的节点之间进行编排。

是否可以在没有调度程序的情况下使用Apache Airflow？您是否为此建议我其他框架（Java或Python）？

谢谢！ ：）

Answer 1

您当然可以创建计划外的DAG

schedule_interval=None

尽管如此，您必须让调度程序运行才能执行任务，

airflow trigger_dag my-dag

关于替代方案，我想这一切都取决于您要实现的目标。大多数大型编舞解决方案都在运行时内置了一些计划。 Apache Beam并非如此，但这更适用于数据转换和流处理。

最接近的东西可能是luigi：https://github.com/spotify/luigi。这是一个Python项目，可让您编排AirFlow之类的任务。似乎没有调度程序。它的UI似乎也简单得多。

Answer 2

Uber Cadence Workflow非常适合服务编排方案。 This answer提供了更多信息。