处理大型文件集时bigquery如何表现

Question

大查询是否支持ACID属性？ 在处理了大量文件并且最后一个文件失败后，是否会回滚整个作业负载？

Answer 1

是的，BigQuery作业具有ACID属性。也就是说，他们是

• Atomic：要么完全犯罪要么不犯罪。
• 一致：变更应该随处可用，一旦工作成功完成，应该在每个后续工作中看到这些数据。
• 隔离：并发作业独立运行。
• 耐用：一旦工作完成，数据应该持久写入（目前，这意味着它被写入至少3个副本。）

当作业启动时，会检查它们的有效性（例如，您是否使用正确的架构附加数据），但在作业准备好提交之前不会进行任何更改。此时，更改将以原子方式应用（并再次验证）。

Answer 2

我害怕，但事实并非如此。 BigQuery作业仅支持ATOMIC属性。 这意味着作业中没有中途状态，如果作业失败，则所有操作都会失败。

https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs