将数据流式传输到bigquery仅返回部分数据

时间:2018-11-05 15:58:35

标签: google-bigquery

我正在将数据流式传输到bigquery中,并且日志根本没有记录任何问题,当我运行“ SELECT * FROM datatable WHERE _PARTITIONTIME = TIMESTAMP(“ 2018-11-05”)LIMIT 1000“时,它仅返回16行,随着新数据的流入,行数据不断变化,但仅返回16行。

Streaming缓冲区统计信息显示缓冲区中有行。

我将在10个小时前开始直播,因此我认为会有一些数据可以访问。

我在这里有点茫然,因为我看不到错误

这是收集的一些示例数据

https://docs.google.com/spreadsheets/d/1Svm6cDWzSvD0RHGo_O5J16UDvqFfDAK5irNki5nYtos/edit?usp=sharing

1 个答案:

答案 0 :(得分:1)

来自the documentation

  

在流式传输到分区表时,流式缓冲区中的数据的_PARTITIONTIME伪列的值为NULL。

您应将过滤器更改为:

WHERE _PARTITIONTIME IS NULL OR _PARTITIONTIME = TIMESTAMP "2018-11-05"

这将包括指定日期以及流缓冲区中当前日期的数据。