我正在执行一项任务,该任务将监听某些事件并启动其他功能。
这个函数(听众)订阅了一个kafka主题并且永远运行,或者至少直到它会停止'停止'事件
将其作为气流操作员包装似乎无法正常工作。 这意味着,如果我发送停止事件,它将不会处理它或其他任何事情。 是否可以在气流中运行繁忙的循环功能?
答案 0 :(得分:1)
不,不要在Airflow任务中运行无限循环。
Airflow被设计为批处理器 - 长/无限运行任务与其整个调度和处理模型相反,虽然它可能“有效”,但它将锁定任务运行器插槽。