如何将.zip文件加载到BigQuery中?

时间:2018-09-12 16:57:25

标签: google-cloud-platform google-bigquery

我们能够完全加载未压缩的CSV文件和压缩文件。 但是,如果我们要加载以“ .zip”压缩的CSV文件-前进的最佳方法是什么? 我们需要手动将zip转换为gz还是BigQuery添加了一些支持来处理此问题?

谢谢

2 个答案:

答案 0 :(得分:2)

BigQuery支持加载gzip文件

限制是-如果使用gzip压缩,则BigQuery无法并行读取数据。将压缩的CSV数据加载到BigQuery中比加载未压缩的数据要慢。

答案 1 :(得分:1)

您可以为此尝试 42Layers.io。我们使用它直接从 FTP 将压缩的 CSV 文件导入 BQ,然后将其设置为每天执行。它们还允许您对 BQ 中的现有表进行字段映射。很整洁。