我可以将bzip2中的文件上传到存储中，然后在bigquery中使用它们吗？

Question

我有bz2格式的一堆（大的，每个10GB）文件。我想上传它们，然后对它们执行一些查询。大查询“理解”bzip，因为它是gzip吗？我应该转换它们吗？什么是上传它们的最佳方式？

Answer 1

我假设文件是​​CSV或JSON格式。根据BigQuery文档（https://cloud.google.com/bigquery/preparing-data-for-loading），仅支持gzip压缩。即使支持bz2，也不会使用10GB大小的压缩文件。问题是，与未压缩文件不同--BigQuery无法将它们拆分成碎片，并且必须使用整个10GB文件，这将非常慢。