使用Dataflow处理来自BigQuery表的流数据

时间:2015-09-30 12:20:38

标签: google-bigquery google-cloud-dataflow

https://github.com/GoogleCloudPlatform/DataflowJavaSDK-examples/blob/master/src/main/java/com/google/cloud/dataflow/examples/cookbook/TriggerExample.java

中显示的示例类似

有一个BigQuery表,即使15分钟内也可以追加新数据。表中有一个Timestamp列。是否可以通过fixedWindow基于时间的触发器从添加到该BigQuery表的数据执行流分析?类似于上面使用pub / sub?

的例子

1 个答案:

答案 0 :(得分:1)

从BigQuery流式传输数据非常棘手 - 与PubSub不同,BigQuery没有"订阅通知" API。有没有办法可以从BigQuery上游流式传输 - 也就是说,你可以从推动15分钟更新的人那里流出来吗?