GCP发布/订阅者订阅者未在Apache Dataflow管道中收到消息

时间:2020-10-22 12:29:38

标签: google-cloud-dataflow apache-beam google-cloud-pubsub

背景:我正在以流模式使用GCP数据流(https://cloud.google.com/dataflow)处理信息。数据流通过发布/订阅从GAE端点接收数据。我正在使用apache光束包装器功能进行订阅- beam.io.ReadFromPubSub(...)。数据流始终运行,并且发布/订阅正在等待新数据。

问题:我注意到,几天后(几天没有固定的模式),它停止接收任何消息。我可以看到ID返回给我的消息,因此GAE中的发布部分工作正常。

故障排除:当我重新启动数据流(通过克隆)时,它又能正常工作。

可疑:由于我依赖Beam的api,因此我不确定其下发生了什么。这是Beam.io.ReadFromPubSub的错误还是数据流的错误。

注意:尝试过https://cloud.google.com/pubsub/docs/troubleshooting,但没有相关帮助。

0 个答案:

没有答案