Apache beam:从多个订阅中读取

时间:2017-11-06 16:56:13

标签: google-cloud-dataflow apache-beam google-cloud-pubsub

我想创建一个侦听多个订阅并写入BigQuery的数据流。根据Google的documentation,我可以阅读多个PCollection个对象并将它们组合在一起。

但是,查看PubsubIO.Read的javadoc here,似乎subscription方法只接受一个String。那么,我们是否需要链接subscription方法以便从多个订阅中读取?

1 个答案:

答案 0 :(得分:2)

你可以做的就是从PubSub获得多个Read,其中每个都从一个订阅读取,然后Flatten他们的结果。

那会做你需要的吗?