在气流 DAG

Question

此时我使用带有气流的 LocalExecutor。我的 DAG 使用带有气流的 DockerOperator 的 docker 图像。为此，PC 上必须存在 docker 图像。如果我想使用像 CeleryExecutor 或 KubernetesExecutor 这样的分布式执行器，docker 镜像必须存在于属于 Celery 或 Kubernetes 集群的所有机器上？

问候 奥利

Answer 1

没错。由于气流工作人员在本地运行任务，您将需要在工作人员本地拥有 docker 图像或其他可用资源。您可以尝试使用 this 链接设置本地 docker 注册表，该注册表可以提供 docker 镜像并节省您手动维护它们的工作。