气流何时使用KubernetesExecutor和KubernetesPodOperator？

Question

执行器是否自动将任务发送到Pod，还是我需要操作员执行此操作？

每个运算符都有“ executor_config”参数，因此我不确定何时使用其中一个。

Answer 1

它们有不同的用途。

简而言之：

KubernetesExecutor ：设置Airflow时，需要指定受支持的执行程序之一。执行程序控制所有任务的运行方式。对于KubernetesExecutor，Airflow在运行任务的kubernetes集群中创建一个pod，并在任务完成时删除该pod。

基本上，您将使用它代替诸如Celery之类的东西。

KubernetesPodOperator ：从本质上讲，这使您可以将容器作为任务运行，并且该容器将在kubernetes集群的pod中运行。

如果您有需要在Airflow中安排的容器化工作负载，或者有要作为Airflow任务执行的非Python代码，则可以使用此功能。

希望有帮助。