Apache Beam - BigQueryIO读取投影

时间:2018-02-22 14:19:58

标签: java google-bigquery apache-beam apache-beam-io

我有一个从BigQuery表读取的Dataflow管道。但是,在阅读数据时,除了使用read(SerializableFunction)readTableRows()方法读取所有记录之外别无选择。 我想知道,在使用这些方法时,可以选择提供类似列的投影(类似于HBaseIO扫描addColumn()过滤器)。

我知道在从BigQuery加载数据时可以选择执行查询(使用readTableRows().fromQuery()),但我想知道在HBaseIO中是否有类似的选项可以进行投影。

1 个答案:

答案 0 :(得分:3)

截至目前,fromQuery()是唯一的选择,但未来可能会发生变化。