将数据提取流式传输到BigQuery

Question

我们有一个将提供流数据的应用程序，应用程序供应商要求Web端点访问BigQuery以加载流数据。加载流数据时首选的模式是什么？ 如果我想使用pubsub-> Dataflow-> BQ，如何设置要发布到主题的Web端点？ 任何建议表示赞赏-我从未做过：D

溴 克里斯

Answer 1

如果数据仅存储在BigQuery中，并且没有预见到的任何预处理，请直接使用BigQuery Streaming API。这确实是100.000 req / sec。

使用DataFlow-> BQ来处理集合时，可以转换多个目标接收器。

从一开始就使用BQ APi，然后随着事情的发展，您可以随时更改为Dataflow-> BQ方法。