数据在分区表中迟到

Question

我正在尝试使用Google Bigquery中的分区功能。 进入表格的日志似乎会反映在表格的后期。如果日志发生在13点，那么表格上会有大约15分钟的差异。有没有办法将实时应用到分区表格？

Answer 1

您可能正在使用流式插入向表中添加数据。根据分区表的BigQuery documentation，仍然在流缓冲区中的数据与_PARTITIONTIME IS NULL分区相关联，因此如果您在查询的_PARTITIONTIME子句中使用WHERE，则很可能遗漏了那些数据。您可以向_PARTITIONTIME IS NULL子句添加显式WHERE，以查看仍未分区的流数据。它通常在15分钟内进入分区。