Google bigquery将大表导出到Google Cloud存储中的多个对象

时间:2017-10-06 01:09:19

标签: google-bigquery google-cloud-storage

我有两个大的查询表,大于1 GB。

要导出到存储空间,

https://googlecloudplatform.github.io/google-cloud-php/#/docs/google-cloud/v0.39.2/bigquery/table?method=export

$destinationObject = $storage->bucket('myBucket')->object('tableOutput_*');
$job = $table->export($destinationObject);

我使用外卡。

奇怪的是,一个bigquery表被导出为60个文件,每个文件大小为3-4 MB。

另一个表导出为3个文件,每个文件接近1 GB,900 MB。

代码相同。唯一的区别在于表格导出为3个文件。我将它们放入子文件夹中。

导出到60个文件的文件比子文件夹高一级。

我的问题是bigquery决定将文件分成几十个较小的文件,或者只是分成几个大文件(只要每个文件小于1GB)?

谢谢!

1 个答案:

答案 0 :(得分:2)

BigQuery不保证导出文件的大小,目前无法对此进行调整。