我正在尝试使用数据流流入BQ分区表。 文档说:
流式缓冲区中的数据对于_PARTITIONTIME列具有NULL值。
我可以看到将行插入日期分区表时的情况。
有没有办法能够设置我想插入的行的分区时间,以便BigQuery可以推断出正确的分区?
到目前为止,我已尝试过:tableRow.set("_PARTITIONTIME", milliessinceepoch);
但我遇到了no such field
例外。
答案 0 :(得分:1)
从大约一个月前开始,您可以流式传输到日期分区表的特定分区。例如,要在表T中插入日期20160501的分区,可以使用表名T$20160501
调用insertall
答案 1 :(得分:0)
AFAIK,在写作时,BigQuery不允许每行手动指定分区 - 从插入时开始推断。
但是,作为BigQuery内置分区表功能的替代方案,您可以使用Dataflow的功能同时流式传输到多个BigQuery表:请参阅Sharding BigQuery output tables。