我正在尝试使用以下命令bq load --source_format=NEWLINE_DELIMITED_JSON --replace=true kx-test.store_requests gs://kx-gam-test/store/requests/*
将多个json(4000)文件加载到Bigquery中的表中,并且出现以下错误:
Error encountered during job execution:
Not found: Files /bigstore/kx-gam-test/store/requests/7fb27d63-5581-43a1-821d-fcf47b3412fd.json.gz
Failure details:
- Not found: Files /bigstore/kx-gam-test/store/requests/93b54246-2284-4b85-8620-76657f4a338b.json.gz
- Not found: Files /bigstore/kx-gam-test/store/requests/fd24a53d-2c49-4f66-bf54-a7ccf14a1cfe.json.gz
- Not found: Files /bigstore/kx-gam-test/store/requests/35a27032-930c-456a-846d-67481a21e52d.json.gz
我不确定为什么它不起作用,是否可能是由于我尝试加载的文件数量?在我的GCS存储桶之前,这个bigstore文件夹的前缀是什么?
我想强调一下,文件夹结构是如此,kx-gam-test/store/requests
中有一些文件夹,我想在所有这些文件夹中加载json gzip文件。
答案 0 :(得分:0)
您可以检查的几件事:
确保您拥有必要的permissions
确保文件确实存在于GCS中
加载后是否有任何删除文件的过程?检查audit logs是否有任何痕迹,以便在BQ实际读取/加载文件时是否已删除该文件。
答案 1 :(得分:0)