标签: streaming google-bigquery delay
我正在将数据流式传输到一个大型查询表中,由于某种原因,我最后几次检查数据是不可用的。流数据最终可用于查询,有时看起来超过一个小时不同步。但数据最终会在一些延迟后出现。
这是预期的吗?如果是的话,它的方法是什么?该表按日期分区,我们不会将数据“加载”到任何特定分区,我们只在当天流式传输数据。
更新
当我说数据不可用时,我的意思是运行以下查询似乎与数据被推送到Bigquery的日期/时间不匹配。
select max(dateTime) from [nproj.reporting] ;