Question

我正在通过KubernetesExecutor使用apache气流。我正在Minikube中运行安装程序，该安装程序运行良好，这意味着DAG每次触发时都会为标记中的每个任务生成容器，并在任务完成后删除容器。

与我在Kubernetes env测试中所使用的相同，但是当我在那里触发DAG时，它将在DAG中创建第一个任务的容器，并且该容器立即从状态中删除。 >终止。 Airflow UI对该任务的日志为空，因此无法检查是什么原因导致该问题，其余相关任务会自动失败。

这是我正在使用的环境变量

AIRFLOW__CELERY__CELERY_CONCURRENCY:
1
AIRFLOW__CELERY__FLOWER_URL_PREFIX:
AIRFLOW__CELERY__WORKER_CONCURRENCY:
1
AIRFLOW__CODE__ENABLE_XCOM_PICKLING:
false
AIRFLOW__CORE__CATCHUP_BY_DEFAULT:
false
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION:
false
AIRFLOW__CORE__DAGS_FOLDER:
/usr/local/airflow/dags
AIRFLOW__CORE__DONOT_PICKLE:
false
AIRFLOW__CORE__EXECUTOR:
KubernetesExecutor
AIRFLOW__CORE__EXPOSE_CONFIG:
true
AIRFLOW__KUBERNETES__DAGS_VOLUME_CLAIM:
airflow-dags
AIRFLOW__KUBERNETES__LOGS_VOLUME_CLAIM:
airflow-logs
AIRFLOW__KUBERNETES__NAMESPACE:
cap
AIRFLOW__KUBERNETES__WORKER_CONTAINER_REPOSITORY:
repo/airflow-latest
AIRFLOW__KUBERNETES__WORKER_CONTAINER_TAG:
latest
AIRFLOW__KUBERNETES__WORKER_PODS_CREATION_BATCH_SIZE:
9
AIRFLOW__WEBSERVER__BASE_URL:
http://localhost:8080
DO_WAIT_INITDB:
false
FERNET_KEY:
FLOWER_PORT:
5555
POSTGRES_DB:
airflow
POSTGRES_HOST:
airflow-postgresql
POSTGRES_PORT:
5432
REDIS_HOST:
airflow-redis-master
REDIS_PORT:

Answer 1

您可以添加“ AIRFLOW__KUBERNETES__DELETE_WORKER_PODS：false”环境变量并检查pod日志

Apache Airflow中的Kubernetes Executor：Pod立即被删除并出现错误

1 个答案: