Question

我正在尝试将一些python apache beam脚本更新为2.9版的apache beam。运行在Google云数据流运行程序上导入from google.cloud.spanner import Client的脚本时，我遇到以下错误（直接运行程序工作正常）： https://stackoverflow.com/a/53160674/5692877

我有一个正确的setup.py，可以在2.9之前正常运行特别是

REQUIRED_PACKAGES = [
    "Flask==0.12.2",
    "apache-beam[gcp]==2.9",
    "gunicorn==19.7.1",
    "gevent==1.2.1",
    "google-api-core==1.7.0",
    "google-apitools==0.5.24",
    "google-auth==1.6.2",
    "google-cloud-bigquery==1.6.1",
    "google-cloud-core==0.29.0",
    "google-cloud-pubsub==0.35.4",
    "google-cloud-spanner==1.7.1",
    "google-cloud-storage==1.13.1",
    "google-resumable-media==0.3.1",
    "googleapis-common-protos==1.5.5",
    "googledatastore==7.0.2",
    "grpc-google-iam-v1==0.11.4",
    "proto-google-cloud-datastore-v1==0.90.4",
    "six==1.11",
]

可能与之相关：在其他工作（流式传输）上，我有错误日志

No unique name set for transform generatedPtransform-45

和

Missing required coder_id on grpc_port for -3; using deprecated fallback.

尽管它们似乎并未真正阻止执行

什么可能导致此错误，特别是仅使用Google Cloud Dataflow运行器？预先感谢

Answer 1

此错误：

Missing required coder_id on grpc_port for -3; using deprecated fallback.

是在2.9版中引入的，并在2.10版中仍然存在。

虽然the commit that added this error的日志记录的严重性为“错误”，但实际上并没有破坏任何内容。

这是Beam jira问题，以获取更多详细信息：

https://jira.apache.org/jira/browse/BEAM-5415

在Apache Beam 2.9上导入跨云错误

1 个答案: