如何从Cloud Storage加载.log.gz压缩文件到大查询？

Question

我的Cloud Storage中有多个压缩的.log.gz文件。我当时使用Google Data Prep处理文件，然后将它们传输到Big Query，但是现在数据量很大，这增加了使用Data Prep的时间和成本。我想将那些.log.gz文件获取到Big Query，以便能够在需要时手动执行任务。有没有办法将它们连接到Big查询？

我尝试了Big Query传输服务，但不适用于压缩文件。

Answer 1

目前，您可以加载CSV，JSON，Avro，Parquet，ORC，Cloud Datastore导出，Cloud Firestore从Cloud Storage导出到Big Query。

但是，如果gz文件包含受支持的格式，则可以将它们直接导入到Big Query中。但是，有一些限制，例如铲斗的位置。可以here检查这些限制。

您还可以找到如何加载数据here。

在同一documentation link中，您可以找到有关加载压缩数据的更多信息。