无法在GCP Composer上安装pypi软件包(google-cloud-bigquery)

时间:2020-10-24 23:03:06

标签: google-cloud-composer

我正在尝试为最近创建的新环境在GCP作曲者上安装google-cloud-bigquery==1.5.0 PyPI软件包。我收到此错误:

Successfully installed google-cloud-bigquery-1.5.0 google-cloud-core-0.28.1 pypd-1.1.0 strict-rfc3339-0.7
+ [[ -z fail ]]
+ python3 -m pipdeptree --warn fail
Warning!!! Possibly conflicting dependencies found:
* google-cloud-translate==2.0.1
 - google-cloud-core [required: >=1.1.0,<2.0dev, installed: 0.28.1]
* google-cloud-storage==1.29.0

我尝试了另一个版本(2.2.0),它与其他一些Google预先安装的软件包存在冲突。 新的环境映像版本为composer-1.12.2-airflow-1.10.6。 几个月前创建了另一个环境,所有pypi软件包都已成功安装,并且气流dags运行顺利,其映像版本为composer-1.10.0-airflow-1.10.6

问题1:我认为当前问题与映像版本有关,也许我必须使用较旧的映像版本重新创建新环境,对吗?

问题2:要创建新的环境,对于图像版本我只有三个选项,分别为composer-1.12.2-airflow-1.10.6composer-1.12.2-airflow-1.10.9,{{1} }。如何使用图像版本composer-1.10.0创建环境?我们还有其他几个具有相同位置/区域但具有composer-1.10.0的项目和环境

1 个答案:

答案 0 :(得分:0)

请查看official documentation,了解Cloud Composer支持的Apache Airflow和Python版本。您可以参考composer-1.12.2-airflow-1.10.6所附带的Python软件包的section。特定的Cloud Composer Airflow版本已经随附了一组随附的软件包。当您升级/降级已安装的特定PyPi软件包或尝试使用任何其他软件包时,您可能会遇到冲突。

就目前而言,无法在Cloud Composer环境中提前检查冲突。我建议您调整软件包以使其能够在以下Composer环境之一中使用: composer-1.12.4-airflow-1.10.10composer-1.12.4-airflow-1.10.9