即使我发现潜在的潜在问题,我也有一个问题我不明白。
我想在日期T创建一个表,在其中传输数据。 第二天,我在日期T删除表,在日期T + 1创建一个新表,然后流数据。 等
表创建和流之间出现问题。 实际上,有时我流数据并没有实际流式传输。通常我在日期T删除一个表并直接重新创建它。
表删除和实际引用删除之间是否存在延迟? 有时谷歌告诉我该表不存在......实际上它存在。
我是用Java做的。编译看起来很快,但实际参考似乎很快就会到来。
我在操作中放了2分钟的线程/睡眠,但仍然... 我可以等10分钟或更长时间,但它会100%可靠吗?
由于
答案 0 :(得分:1)
您提到的方案目前存在限制,我们希望将来能够解决。
我从您的帖子中收集到您正在使用日常桌子?您是否考虑过使用分区表的可能性?数据将自动进入最近一天的分区。您还可以设置数据到期。如果要手动从分区中删除数据,可以使用allow_large_results和WRITE_TRUNCATE以分区作为目标进行查询。
https://cloud.google.com/bigquery/docs/creating-partitioned-tables