使用模板表数据可用性问题的

时间:2016-02-11 22:16:57

标签: streaming google-bigquery

我们已经使用BigQuery超过一年了,没有任何问题。我们每隔几个小时将数据作为批处理作业加载,通常可以立即使用。

我们刚开始尝试使用模板表进行流式插入。通过我们的第一次测试,我们看到没有错误,数据立即出现。该测试创建了大约120个表。表上的一个简单的选择计数(使用web ui)提供了大约8000行的正确总数。经过几个小时的流媒体播放后,总数降至约1400行。

不确定发生了什么,我们删除了数据集,重新创建了模板表并重新运行了流式传输。这一次,表格立即显示,但数据没有。在我们的第三次尝试中,表格本身并没有显示超过几个小时。我们正在进行第四次尝试,这次我们只流式传输属于一个表的数据。该表立即出现,但已经过了一个多小时,数据没有显示出来。

流服务使用最新的Java库,一次只插入一条记录并记录响应。毫无例外的回应始终是{" kind":" bigquery#tableDataInsertAllResponse"}并且没有错误。

任何试图了解正在发生的事情的帮助都会很棒。感谢。

1 个答案:

答案 0 :(得分:5)

看起来我们已经确定了这个问题。它出现在模板表路径中仅的竞争导致我们的系统认为第一块数据被用户操作删除(表截断 - 显然它不是' t),并被丢弃。我们已确定修复程序,并会尽快推出修复程序。

感谢您告诉我们!