如何使用现有的PubSub订阅与Google提供的PubSub到BigQuery数据流模板

时间:2018-01-11 17:02:22

标签: google-cloud-dataflow google-cloud-pubsub

我正在尝试使用Google提供的模板PubSub to BigQuery设置数据流作业。我看到一个指定Cloud Pub / Sub输入主题的选项,但我没有看到任何在GCP控制台UI中指定发布/订阅输入订阅的选项。

如果我提供主题,作业将自动创建订阅以从提供的主题中读取消息。问题是,作业将仅在Dataflow作业启动后才会看到发布到主题的消息。以前在同一主题上发表的任何内容都将被忽略。

我的工作中没有任何复杂的转变。所以谷歌提供的模板对我来说是开箱即用的。但是缺乏指定我自己的订阅的能力困扰着我。出于这个原因,我不想设置自定义作业管道。有人知道是否有解决方法吗?

1 个答案:

答案 0 :(得分:3)

目前尚不支持。然而,它是一个很好的用例,并且是谷歌云团队的雷达。

如果您可以通过bookman@google.com向我发送电子邮件,我们一定会让您在开发时发布,以便启用此功能。

欣赏反馈,

科林