我有一些要求可以使用Dataflow和BQ CLI来处理。我对两者进行了一些性能分析,发现通过Transformations
上的各种操作处理PCollections
与在BQ CLI上运行相同转换操作的查询相比,会带来一些重大延迟。
我的要求包括可以使用具有大量Joins
的SQL查询来处理的转换,我想知道为它编写等效的Dataflow逻辑。
根据我的分析,如果要构建复杂的转换,那么使用BQ CLI
与使用Java等效逻辑处理相同的PCollections
进行比较时,总是可以提高性能。
如果我在Dataflow中实现这些内容而不是编写SQL查询以在BQ CLI中运行,请建议我是否可以获得任何与性能和成本相关的好处。