我正在尝试使用Google提供的模板PubSub to BigQuery
设置数据流作业。我看到一个指定Cloud Pub / Sub输入主题的选项,但我没有看到任何在GCP控制台UI中指定发布/订阅输入订阅的选项。
如果我提供主题,作业将自动创建订阅以从提供的主题中读取消息。问题是,作业将仅在Dataflow作业启动后才会看到发布到主题的消息。以前在同一主题上发表的任何内容都将被忽略。
我的工作中没有任何复杂的转变。所以谷歌提供的模板对我来说是开箱即用的。但是缺乏指定我自己的订阅的能力困扰着我。出于这个原因,我不想设置自定义作业管道。有人知道是否有解决方法吗?
答案 0 :(得分:3)
目前尚不支持。然而,它是一个很好的用例,并且是谷歌云团队的雷达。
如果您可以通过bookman@google.com向我发送电子邮件,我们一定会让您在开发时发布,以便启用此功能。
欣赏反馈,
科林