加载到Bigquery

时间:2019-06-10 15:33:51

标签: google-bigquery

我正在尝试使用以下命令bq load --source_format=NEWLINE_DELIMITED_JSON --replace=true kx-test.store_requests gs://kx-gam-test/store/requests/*将多个json(4000)文件加载到Bigquery中的表中,并且出现以下错误:

Error encountered during job execution:
Not found: Files /bigstore/kx-gam-test/store/requests/7fb27d63-5581-43a1-821d-fcf47b3412fd.json.gz
Failure details:
 - Not found: Files /bigstore/kx-gam-test/store/requests/93b54246-2284-4b85-8620-76657f4a338b.json.gz
 - Not found: Files /bigstore/kx-gam-test/store/requests/fd24a53d-2c49-4f66-bf54-a7ccf14a1cfe.json.gz
 - Not found: Files /bigstore/kx-gam-test/store/requests/35a27032-930c-456a-846d-67481a21e52d.json.gz

我不确定为什么它不起作用,是否可能是由于我尝试加载的文件数量?在我的GCS存储桶之前,这个bigstore文件夹的前缀是什么?

我想强调一下,文件夹结构是如此,kx-gam-test/store/requests中有一些文件夹,我想在所有这些文件夹中加载json gzip文件。

2 个答案:

答案 0 :(得分:0)

您可以检查的几件事:

  1. 确保您拥有必要的permissions

  2. 确保文件确实存在于GCS中

  3. 加载后是否有任何删除文件的过程?检查audit logs是否有任何痕迹,以便在BQ实际读取/加载文件时是否已删除该文件。

答案 1 :(得分:0)

根据documentation

  

BigQuery不支持在原始双斜杠之后包含多个连续斜杠的源URI。

此外,here是将数据加载到云存储时要考虑的一些其他信息。