将外部分区的数据加载到 BQ 表中

时间:2021-02-24 15:03:59

标签: google-bigquery

我在 GCS 中有 Avro 文件,加载文件的路径就像 - gs://folder1/folder2/2021/02/23/00/00/file1.avro gs://folder1/folder2/2021/02/23/00/00/file2.avro 等等 路径中的数字基本上是年/月/日/小时/分钟/file1.avro 现在我想将此文件加载到我想在加载操作期间创建的表(表不是在 BQ 中创建的)中。 我想按年/月/日对表进行分区。我试过下面的命令 -

bq load -project_id=projectname \
--clustering_fields=col1,col2 \
--source_format=AVRO --hive_partitioning_mode=CUSTOM \
--hive_partitioning_source_uri_prefix=gs://source/folder1/{year:integer}/{month:integer}/{day:integer}/ projectname:datasetname.table1 gs://source/folder1//2021/02/23/20/00/*.avro 
col1:INTEGER,col2:INTEGER,col3:INTEGER,col4:STRING,col5:STRING,col6:TIMESTAMP

在那之后我收到错误 - 查询字符串中的错误:处理作业“项目名称:bq_job_fdkf2342”时出错:分区键应与跨所有分区的表创建保持不变,使用 使用不变名称保持不变的分区键数。预期有 3 个分区键([年、月、日]),但分区 2021/02/23/20/00 遇到了 0([)。

感谢任何帮助

0 个答案:

没有答案
相关问题