BigQuery将数据导出到一个大文件中

时间:2019-04-29 12:40:04

标签: google-bigquery google-cloud-storage

BigQiery docs告诉我们每个请求的限制,一个文件不能更多1Gb ,这是事实,但并非总是如此。我进行了一次新的导出,很惊讶,文件大小为 6Gb 。这个大文件对我来说是个问题。
我可以采取什么措施来减小文件大小,以及BigQuery为什么会做那么大文件?

1 个答案:

答案 0 :(得分:1)

BigQuery导出文件的大小各不相同,有时它会拆分成大于1GB的文件,或者拆分成许多小尺寸的文件。

有一个public issue档案,但只涉及文档更改以设定对不同导出文件大小的期望

看来其他人也遇到了这个问题:

您可以尝试进行新的导出,但是如果导出文件的大小始终大于1GB,那么您可以report for a public issue来检查这种不可预测的行为。