使用 Apache 自动化烧瓶服务器。气流

Question

我有一个由多种方法组成的烧瓶服务器。我的目标是使用 Airflow 自动执行这些方法。 我正在考虑使用以下步骤：-

1. 通过定义多个 DAGS 来调用管道中的相关烧瓶方法来设置 Airflow。
2. 部署 Flask 服务器。
3. 部署 Airflow（使用 docker-compose）。

主要是，我想独立地分离 Airflow 和 Flask 服务器。你认为这是一个好的计划吗？任何其他建议将不胜感激。

Answer 1

这取决于几个方面。

1. 你能从 Airflow 内部运行这些方法吗？出于安全原因，通常需要将某些功能保留在不同的环境/集群中。其原因可能是您希望为 Airflow 环境提供所需的数据库访问权限。
2. 此功能/方法是否也从其他位置调用，还是仅用于 Airflow？
3. flask 服务器还有哪些其他功能是您离不开的？
4. 是否存在 python 依赖冲突？即使在这种情况下，您也可以使用 Airflow 的 VirtualEnvOperator。

如果这里没有完全阻止您从 Airflow 内部调用这些方法的答案，我会投票完全在 Airflow 内部执行它们。从长远来看，这将减少耦合并减轻您的维护负担。此外，Airflow 将让您无需担心很多事情，例如连接、异常代码和出现问题时的回调。