我在多节点环境中使用Hadoop和Spark。我安装了Airflow来自动执行多个火花任务。要在多节点中运行此DAG，Celery执行器或Kubernetes执行器是Airflow中的最佳选择吗？
答案 0 :(得分：0)
CeleryExecutor用于水平缩放。 Scheduler将消息添加到队列中，而Celery代理将其传递给Celery工作者。我们有固定的资源来运行Celery Worker，如果同时有很多任务处理，我们肯定会遇到资源问题。当时没有任何任务在处理，我们当时要洗钱。
对于KubernetesExecutor，对于每个需要运行的任务，Executor与Kubernetes API对话以动态启动其他Pod。通过使用Kubernetes，您可以放大或缩小以节省资源和节省金钱