气流中的事件监听器

时间:2018-01-25 14:16:01

标签: airflow airflow-scheduler

我正在执行一项任务,该任务将监听某些事件并启动其他功能。

这个函数(听众)订阅了一个kafka主题并且永远运行,或者至少直到它会停止'停止'事件

将其作为气流操作员包装似乎无法正常工作。 这意味着,如果我发送停止事件,它将不会处理它或其他任何事情。 是否可以在气流中运行繁忙的循环功能?

1 个答案:

答案 0 :(得分:1)

不,不要在Airflow任务中运行无限循环。

Airflow被设计为批处理器 - 长/无限运行任务与其整个调度和处理模型相反,虽然它可能“有效”,但它将锁定任务运行器插槽。