使用Google Pub / Sub重播活动

时间:2016-06-05 20:57:09

标签: google-cloud-platform google-cloud-pubsub

我正在研究Google Cloud,它非常吸引人,特别适用于数据密集型应用程序。我正在研究Pub / Sub + Dataflow,我试图找出重播通过Pub / Sub发送的事件的最佳方法,以防处理逻辑发生变化。

据我所知,发布/订阅保留的上限为7天是每个订阅,主题本身不会保留数据。在我看来,它将允许禁用日志压缩,就像在Kafka中一样,所以我可以从一开始就重放数据。

现在,由于数据流承诺您可以在批处理和流模式下运行相同的作业,通过将所有事件转储到Google存储并从那里回复来模拟这种期望的行为会有多大效果?

我也愿意接受任何其他想法。

谢谢

3 个答案:

答案 0 :(得分:2)

正如您所说,Cloud Pub / Sub目前不支持重播,因此您需要将事件保存在某个地方以便稍后重播,而Cloud Storage听起来像是一个很好的地方。

答案 1 :(得分:2)

Cloud Pub / Sub现在可以重播以前确认的消息。有关如何使用此功能的信息,请参见quickstartrelated blog post

答案 2 :(得分:0)

如果您的消息超出了保留策略,并且已保存了消息(例如,使用“ Cloud Pub / Sub到Cloud Storage上的文本文件” Dataflow管道模板),则可以使用此小工具进行播放:{ {3}}