数据流与BQ CLI:哪一个在性能和成本方面更有效

时间:2017-11-26 08:10:08

标签: google-bigquery google-cloud-dataflow apache-beam

我有一些要求可以使用Dataflow和BQ CLI来处理。我对两者进行了一些性能分析,发现通过Transformations上的各种操作处理PCollections与在BQ CLI上运行相同转换操作的查询相比,会带来一些重大延迟。

我的要求包括可以使用具有大量Joins的SQL查询来处理的转换,我想知道为它编写等效的Dataflow逻辑。

根据我的分析,如果要构建复杂的转换,那么使用BQ CLI与使用Java等效逻辑处理相同的PCollections进行比较时,总是可以提高性能。

如果我在Dataflow中实现这些内容而不是编写SQL查询以在BQ CLI中运行,请建议我是否可以获得任何与性能和成本相关的好处。

0 个答案:

没有答案