在Google Cloud Composer上安装pypi软件包google-cloud-datastore失败

Question

我正在使用Python 3在Google Cloud Composer上运行Airflow 1.10.6。要从composer环境启动数据流作业，我需要拥有PyPi软件包google-cloud-datastore。当我尝试通过界面或云外壳添加此程序包时，构建失败。它将引发以下错误：

此环境的更新操作在1小时前失败，并显示以下错误消息： 无法安装PyPI软件包。

如果我检查Kubernetes引擎的Google Build日志，则会看到以下错误：

I 2020-03-04T14：36：23.939075607Z [0mgoogle-cloud-datastore 1.11.0要求google-cloud-core <2.0dev，> = 1.0.3，但您有google-cloud-core 0.29。 1。

I 2020-03-04T14：36：23.939669242Z google-cloud-datastore 1.11.0具有要求google-api-core [grpc] <2.0.0dev，> = 1.14.0，但是您拥有google-api-核心1.8.1。

因此google-cloud-datastore需要google-cloud-core> = 1.0.3。我试图将google-cloud-core显式设置为1.0.3，但是随后出现以下错误：

I 2020-03-05T08：13：18.539300693Z [0mgoogle-cloud-logging 1.9.1具有要求google-cloud-core <0.30dev，> = 0.29.0，但您拥有google-cloud-core 1.0。 3。

I 2020-03-05T08：13：18.539878367Z google-cloud-bigtable 0.32.0具有要求google-cloud-core <0.30dev，> = 0.29.0，但是您拥有google-cloud-core 1.0.3

I 2020-03-05T08：13：18.540308937Z google-cloud-bigquery 1.8.1具有要求google-cloud-core <0.30dev，> = 0.29.0，但是您拥有google-cloud-core 1.0.3

因此，软件包所需的版本范围不重叠。有谁知道这是否可以解决？请让我知道。

Answer 1

Composer的主容器中的google-cloud-datastore存在兼容性问题，并且该软件包的最新版本无法安装。 Composer产品团队已确认该问题并正在研究。

在确定根本原因之前，尝试安装较旧版本的google-cloud-datastore是一种解决方法。我尝试使用1.7.4版本，并获得了积极的结果：

我希望这会有所帮助。

Answer 2

如果您（或其他阅读本文的人）需要使用最新版本的google-cloud-datastore（==1.11.0），则可以将其安装在我的环境中（composer-1.9.1-airflow） -1.10.6），也将以下库的最新版本添加到依赖项中：

googleapis-common-protos==1.6.0
google-cloud-spanner==1.14.0
google-cloud-bigtable==1.2.1
google-cloud-logging==1.14.0
google-cloud-bigquery==1.22