BigQuery Streaming插入的预期'摄取'时间是多少?

时间:2016-08-15 15:42:58

标签: google-bigquery

这听起来像是this year-old issue的重复,但我想知道BQ团队是否对流式插入可能需要这么长时间的原因有进一步的了解。 (我只花了9K行就花了一个小时。)

不确定它是否相关,但我正在做的唯一“不寻常”的事情是使用python-pandas'to_gbq'功能。我实际上与@felipehoffa合作撰写了这种方法(参见https://github.com/pmueller1/s3-bigquery-conga)。我正在使用if_exists ='append'指令,但延迟是从第一次尝试开始的(即尚未创建表时)。不确定这是否有用,但我想我会把它扔出去。

1 个答案:

答案 0 :(得分:4)

想想我必须在这个问题上发表自己的答案。我们在流媒体上反复获得8小时+摄取时间,因此我们改用了更便宜,更可靠的负载'我们的文件的功能。我是一个非常棒的BigQuery用户,但有一些关于流媒体尚未准备好的黄金时段。我们无法指出它是什么,但是当它工作时,它的效果很好。当它没有时,你等待的时间太长,无法获得数据。在我们能够区分哪种情况发生之前,我们现在就要明确指出它。