具有不同conda环境的Python任务和DAG

Question

假设我在AirFlow中的大多数DAG和任务都应该在与AirFlow服务器相同的机器上运行 Python 代码。

我可以不同的DAG 使用不同的conda环境吗？如果是这样，我该怎么办？例如，我可以为此使用 Python运算符吗？还是会限制我使用我以前安装 AirFlow的相同 conda环境。

更一般而言，对于每个DAG或任务，我应该在哪里/如何理想地激活所需的 conda环境？

Answer 1

运行Airflow Worker代码的Python是其环境将用于执行代码的Python。

您可以做的是为单独的执行环境提供单独的命名队列，以便为不同的工作人员，因此只有一台特定的计算机或一组机器将执行特定的DAG。