具有不同要求的Apache Airflow \ DAG.txt

Question

我正在尝试使用不同的requirements.txt文件运行不同的dag，我注意到每个任务都可以使用

包装

PythonVirtualenvOperator

。还有其他解决方案更适合此任务吗？

Answer 1

我建议您阅读此博客文章，该博客文章回答您的问题并在此过程中提供其他一些建议：https://medium.com/bluecore-engineering/were-all-using-airflow-wrong-and-how-to-fix-it-a56f14cb0753

简而言之，您可以使用KubernetesPodOperator将任意环境表示为docker映像，并让Airflow充当Kubernetes编排器。