气流+芹菜或dask。为了什么，什么时候？

Question

我在官方的Airflow文档the following中读到了：

这究竟是什么意思？作者通过扩展意味着什么？也就是说 足以使用Airflow，或者什么时候会有人将Airflow与Celery结合使用？ （dask）

相同

Answer 1

在Airflow术语中，＆＃34; Executor＆＃34;是负责运行任务的组件。 LocalExecutor通过在计算机上生成线程来执行此操作，Airflow运行并让线程执行任务。

当然，您的容量受到本地计算机上可用资源的限制。 CeleryExecutor将负载分配给多台计算机。执行程序本身发布一个执行任务到队列的请求，并且几个工作节点中的一个接收请求并执行它。您现在可以扩展工作节点集群以增加总体容量。

最后，还没有准备好，工作中有KubernetesExecutor（link）。这将在Kubernetes集群上运行任务。这不仅可以使您的任务完全隔离，因为它们可以在容器中运行，您还可以利用Kubernetes中的现有功能来自动扩展您的群集，以便始终拥有最佳的可用资源。

Answer 2

您可能喜欢阅读dask与芹菜/气流任务经理http://matthewrocklin.com/blog/work/2016/09/13/dask-and-celery

的比较

由于你没有问一个具体的问题，这样的一般性阅读应该是提供信息的，也许你可以澄清你的目标。