BigQuery流数据无法立即获得

时间:2015-04-10 14:11:39

标签: google-bigquery

由于成功插入后几天内流式传输到bigquery的某些数据无法立即(通常发生)在bigquery web ui中可用。

我的用例包括使用以下方法插入数千行:

bigquery.tabledata().insertAll(...)

流式插入表中的结果是: (我也正在检查insertErrors以确保如here所述):

BigQuery insert status : {"kind":"bigquery#tableDataInsertAllResponse"}
BigQuery insert errors  : null

bigquery web ui中可用的总行数与插入的总数不同。

如果有任何帮助,我将不胜感激。

Bigquery项目详情:

Project ID  : favorable-beach-87616
Table : mtp_UA_xxxx_1_20150410

Google图书馆的项目依赖关系:

compile 'com.google.api-client:google-api-client:1.19.0'
compile 'com.google.http-client:google-http-client:1.19.0'
compile 'com.google.http-client:google-http-client-jackson2:1.19.0'
compile 'com.google.oauth-client:google-oauth-client:1.19.0'
compile 'com.google.oauth-client:google-oauth-client-servlet:1.19.0'
compile 'com.google.apis:google-api-services-bigquery:v2-rev171-1.19.0'
compile 'com.google.api-client:google-api-client:1.17.0-rc'

非常感谢您的帮助!

1 个答案:

答案 0 :(得分:7)

当您说出网络用户界面中可用的总行数时,您的意思是显示在'详细信息中的行数。表上的窗格,或者执行SELECT COUNT(*)查询时返回的行数?

如果是前者,那是预期的,因为该计数器只返回已刷新到长期存储的行数(与短数据存储缓冲区相反,流数据最初被写入)。这无疑令人困惑,我们正在努力解决这个问题。

如果是后者,行不会出现在查询中,那就更令人担忧了。如果是这种情况,请告诉我们,我们会进行调查。