BigQuery中流式传输的可靠性

时间:2016-08-17 13:14:22

标签: google-bigquery

即使我发现潜在的潜在问题,我也有一个问题我不明白。

我想在日期T创建一个表,在其中传输数据。 第二天,我在日期T删除表,在日期T + 1创建一个新表,然后流数据。 等

表创建和流之间出现问题。 实际上,有时我流数据并没有实际流式传输。通常我在日期T删除一个表并直接重新创建它。

表删除和实际引用删除之间是否存在延迟? 有时谷歌告诉我该表不存在......实际上它存在。

我是用Java做的。编译看起来很快,但实际参考似乎很快就会到来。

我在操作中放了2分钟的线程/睡眠,但仍然... 我可以等10分钟或更长时间,但它会100%可靠吗?

由于

1 个答案:

答案 0 :(得分:1)

您提到的方案目前存在限制,我们希望将来能够解决。

我从您的帖子中收集到您正在使用日常桌子?您是否考虑过使用分区表的可能性?数据将自动进入最近一天的分区。您还可以设置数据到期。如果要手动从分区中删除数据,可以使用allow_large_results和WRITE_TRUNCATE以分区作为目标进行查询。

https://cloud.google.com/bigquery/docs/creating-partitioned-tables