BigQuery从云存储加载压缩数据

时间:2016-06-09 17:44:52

标签: gzip google-bigquery google-cloud-storage avro

我的Google云端存储中有很多* .gz文件。 我想将这些数据加载到BigQuery。 我试图执行

bq load --source_format=AVRO projectId:dataset.table gs://bucket/*.gz

但收到错误

The Apache Avro library failed to parse file gs://bucket/f92d8ae3-6eba-4e35-9fc0-b8f31b4b9881-part-r-00004.gz.

是否可以将压缩数据上传到BigQuery?这些问题的最佳实践是什么?

1 个答案:

答案 0 :(得分:2)

不支持压缩的Avro文件... 请参阅Avro format

中的详情