BigQuery python客户端库在insert_rows上删除数据

时间:2018-06-21 17:44:19

标签: google-bigquery

我正在使用Python API写入BigQuery -以前我已经取得了成功,但是我对BigQuery平台还是个新手。

我最近更新了一个表架构,以包括一些新的嵌套记录。创建此新表后,我看到很大一部分数据没有进入BigQuery。

但是,有 some 条数据通过。在单个write语句中,我的代码将尝试发送少量行。有些行成功了,有些却没有,但是BigQuery端点没有抛出任何错误。

我可以访问该项目的stackdriver日志,并且没有错误或警告表明写入将失败。我不是在流数据-使用BigQuery客户端库调用API端点(我看到了其他答案,其中指出了将数据流到新创建的表中的问题)。

还有其他人与BigQuery API有关的问题吗?我还没有找到任何说明延迟访问数据的文档(我发现相反,应该是接近实时的,对吗?),我现在不确定是什么原因导致了问题。

任何帮助或参考将不胜感激。

编辑:很明显,API 流式API,我错过了。

Edit2:This issue是相关的。虽然,我每5分钟写一次表大约24小时,但仍然看到丢失的数据。我很好奇,如果在创建BigQuery表后10分钟之内写入数据,就使您处于丢失数据的永久状态,或者期望它在创建后的10分钟后能够捕获所有内容。

0 个答案:

没有答案