具有多个工作人员队列定义的气流舵图

Question

我正在使用CeleryExecutor运行Airflow，并且将它们打包并与头盔图表一起部署。我有一个工作人员，可以通过指定yaml文件中的副本数来按比例放大/缩小。该工作程序以StatefulSet的身份运行，默认情况下它使用airflow队列。是否可以为其他工作人员创建另一个StatefulSet图表并指定队列名称？这样，对于DAG定义文件，我也可以指定要使用的队列。

Answer 1

在您的用例中，最好使用Kubernetes Executor而不是在vuejs-logger之间拆分工作程序管理逻辑。

在Apache Airflow 1.10.0中引入了kubernetes执行器。的 Kubernetes执行器将为每个任务实例创建一个新的pod。

您可以在this documentation中找到有关它的更多详细信息。

我也推荐this blog。

我希望它会有所帮助。