我们能够完全加载未压缩的CSV文件和压缩文件。 但是,如果我们要加载以“ .zip”压缩的CSV文件-前进的最佳方法是什么? 我们需要手动将zip转换为gz还是BigQuery添加了一些支持来处理此问题?
谢谢
答案 0 :(得分:2)
BigQuery支持加载gzip文件
限制是-如果使用gzip压缩,则BigQuery无法并行读取数据。将压缩的CSV数据加载到BigQuery中比加载未压缩的数据要慢。
答案 1 :(得分:1)
您可以为此尝试 42Layers.io。我们使用它直接从 FTP 将压缩的 CSV 文件导入 BQ,然后将其设置为每天执行。它们还允许您对 BQ 中的现有表进行字段映射。很整洁。