我已经在eks上设置了气流实例,并设置了AIRFLOW__CORE__EXECUTOR=KubernetesExecutor
。当一个dag仅包含任务而没有subdag时,则为每个任务动态创建每个pod,并且运行良好,但是当我有多个subdag的dag时,它不会运行subdag,而是第一个subdag中的第一个任务保留在队列状态。
设置AIRFLOW__CORE__EXECUTOR=LocalExecutor
后,在设置executor=KubernetesExecutor()
的同时创建子数据,它可以正常工作,并且子数据包中的任务在单独的容器中运行。但是我不知道我是否会获得KubernetesExecutor
的力量。
谢谢。