Airflow:添加python依赖项时出错

时间:2019-06-13 17:48:05

标签: python airflow google-cloud-composer jaydebeapi

我正在尝试通过jaydebeapi功能将Install pypi packages添加到Airflow(托管在Google Cloud Composer中)中。下面是配置:

气流版本:1.10.1 jaydebeapi版本:1.1.1(也尝试了0.2.0) python版本:3

更新命令完成后,Airflow UI返回502,并且作曲者显示以下错误消息:

  

Composer后端超时。当前正在运行的任务是[stage:   TP_DEPLOYMENT_UPDATING response_timestamp {秒:1560444752纳米:   292000000}]

看起来是Airflow的python版本和jaydebeapi之间的版本冲突?

1 个答案:

答案 0 :(得分:0)

在过去的几年中,我一直在广泛使用Jaydebeapi,它将所有的最后一个版本都没有问题。 我还是建议使用他们推荐的软件包进行安装:

pip install apache-airflow[jdbc]

来自https://airflow.apache.org/installation.html