Go SDK的数据流因“ InvalidProtocolBufferException”而失败

时间:2019-06-17 05:29:51

标签: google-cloud-dataflow apache-beam

我们以前运行的是Beam 2.11.0,由于URN格式发生了明显变化,因此开始失败。当我尝试更新并使用最新版本(2.13.0)时,管道开始超时,在测试过程中我可以从日志中识别出的唯一看似相关的错误是:

org.apache.beam.vendor.grpc.v1p13p1.com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either that the input has been truncated or that an embedded message misreported its own length.

为了进一步测试,我尝试使用Beam范例/此处提供的单词计数示例-https://beam.apache.org/get-started/wordcount-example/-但是得到了相同的结果。我不确定这是一般错误还是与Dataflow有关。通过直接运行器运行时,管道似乎可以正常工作。

注意:我已经用最新版本重建了worker_harness_container_image。

我了解Goflow SDK不受Dataflow的正式支持,但是有人可以告诉我该错误是否与Dataflow或其他问题有关?

PS:我已经在Dataflow和Beam Slack通道中问过这个问题,但没有任何回应。

0 个答案:

没有答案