我们正在使用Google BigQuery流媒体进行流式登录制作,只是出现数据延迟问题(1小时甚至更长时间)。
流处理过程中没有错误,但我们发现BigQuery控制台上显示的最新记录是1小时+之前。
我们使用的查询看起来像......
SELECT
*
FROM
[TABLE]
order by timestamp desc
我们如何检查这是否正常,或者我们是否需要优化流处理,以便将数据以近乎实时的方式插入BigQuery中?
我正在查看此帖子BigQuery streaming insert data availability delay,但不确定BigQuery团队是否可以修复此问题。
谢谢,