我正在尝试为最近创建的新环境在GCP作曲者上安装google-cloud-bigquery==1.5.0
PyPI软件包。我收到此错误:
Successfully installed google-cloud-bigquery-1.5.0 google-cloud-core-0.28.1 pypd-1.1.0 strict-rfc3339-0.7
+ [[ -z fail ]]
+ python3 -m pipdeptree --warn fail
Warning!!! Possibly conflicting dependencies found:
* google-cloud-translate==2.0.1
- google-cloud-core [required: >=1.1.0,<2.0dev, installed: 0.28.1]
* google-cloud-storage==1.29.0
我尝试了另一个版本(2.2.0),它与其他一些Google预先安装的软件包存在冲突。
新的环境映像版本为composer-1.12.2-airflow-1.10.6
。
几个月前创建了另一个环境,所有pypi软件包都已成功安装,并且气流dags运行顺利,其映像版本为composer-1.10.0-airflow-1.10.6
。
问题1:我认为当前问题与映像版本有关,也许我必须使用较旧的映像版本重新创建新环境,对吗?
问题2:要创建新的环境,对于图像版本我只有三个选项,分别为composer-1.12.2-airflow-1.10.6
,composer-1.12.2-airflow-1.10.9
,{{1} }。如何使用图像版本composer-1.10.0创建环境?我们还有其他几个具有相同位置/区域但具有composer-1.10.0的项目和环境
答案 0 :(得分:0)
请查看official documentation,了解Cloud Composer支持的Apache Airflow和Python版本。您可以参考composer-1.12.2-airflow-1.10.6
所附带的Python软件包的section。特定的Cloud Composer Airflow版本已经随附了一组随附的软件包。当您升级/降级已安装的特定PyPi软件包或尝试使用任何其他软件包时,您可能会遇到冲突。
就目前而言,无法在Cloud Composer环境中提前检查冲突。我建议您调整软件包以使其能够在以下Composer环境之一中使用:
composer-1.12.4-airflow-1.10.10
或composer-1.12.4-airflow-1.10.9
。