原子加载到Google BigQuery中的多个表

Question

我正在尝试使用ruby中的load_job在GCS文件中的bigquery中进行加载操作。

问题是，当我在GCS中有多个文件影响不同的表时，由于验证/网络问题，某些文件可能会失败，从而导致bigquery中的数据不一致。 假设我要加载存储在5个文件中的上一小时数据，即使其中1个加载作业失败，我的分析数据也仍然很糟糕。

有没有办法在单个原子请求中将所有这些加载作业批处理到bigquery？

Answer 1

为什么不尝试使用BQ Sink或将数据流式传输到BQ。 使用Sinks，您将依靠BQ下划线体系结构，该体系结构非常稳定且一致，可以将数据从文本文件移至BQ表。 使用流数据，您将可以更好地控制交易。然后，您可以确保将数据正确地逐行移动。