Google Cloud Pub / Sub to BigQuery模板主题订阅

Question

在创建新的Dataflow Pub / Sub to BigQuery模板时，可以指定PubSub topic。似乎无法提供现有的PubSub subscription，而Dataflow模板每次运行都会创建一个新的订阅。

据我了解的PubSub模型，确保我们继续从主题中相同位置读取数据的唯一方法是重用相同的订阅，并且这里似乎没有这样的选择。

当用户想要重新部署这样的数据流模板时会发生什么？我们是否会丢失部署之间的所有数据？

Answer 1

您是对的，由Google提供的从Pub / Sub到BigQuery模板不支持将订阅作为参数传递（here是Google确认这一点的较早答案）。但是，应该很容易对其进行编辑。您只需要将getInputTopic替换为getSubscription。反过来，这应该传递给PubsubIO.readMessagesWithAttributes().fromSubscription (options.getSubscription())方法（请参阅here）而不是fromTopic。创建新管道后，您需要创建并暂存template。