我在 GCS 中有 Avro 文件,加载文件的路径就像 - gs://folder1/folder2/2021/02/23/00/00/file1.avro gs://folder1/folder2/2021/02/23/00/00/file2.avro 等等 路径中的数字基本上是年/月/日/小时/分钟/file1.avro 现在我想将此文件加载到我想在加载操作期间创建的表(表不是在 BQ 中创建的)中。 我想按年/月/日对表进行分区。我试过下面的命令 -
bq load -project_id=projectname \
--clustering_fields=col1,col2 \
--source_format=AVRO --hive_partitioning_mode=CUSTOM \
--hive_partitioning_source_uri_prefix=gs://source/folder1/{year:integer}/{month:integer}/{day:integer}/ projectname:datasetname.table1 gs://source/folder1//2021/02/23/20/00/*.avro
col1:INTEGER,col2:INTEGER,col3:INTEGER,col4:STRING,col5:STRING,col6:TIMESTAMP
在那之后我收到错误 - 查询字符串中的错误:处理作业“项目名称:bq_job_fdkf2342”时出错:分区键应与跨所有分区的表创建保持不变,使用 使用不变名称保持不变的分区键数。预期有 3 个分区键([年、月、日]),但分区 2021/02/23/20/00 遇到了 0([)。
感谢任何帮助