我有以下格式的密钥:
s3://bucket/source/2019/01/01/xyz_20190101.csv s3://bucket/source/2019/01/01/mno_20190101.csv s3://bucket/source/2019/01/02/xyz_20190102.csv s3://bucket/source/2019/01/02/mno_20190102.csv
但是当我使用以下命令添加分区时,xyz_20190101.csv和mno_20190101.csv都被加载到外部表中,但我只希望xyz被加载:
alter table database_x.schema_y.table_z
add partition(year='2019', month='01', day='01')
location 's3://bucket/source/2019/01/01/';
有什么方法可以让红移频谱只加载带有前缀而不是所有键的所需键吗?
更新:
我的创建查询是:
create external table database_x.schema_y.table_z(
col1 BIGINT,
col2 BIGINT,
col3 VARCHAR(80),
col4 DATE
)
partitioned by (year char(4), month char(2), day char(2))
row format delimited
fields terminated by '|'
location 's3://bucket/source/'
table properties ('skip.header.line.count'='1', 'has_encrypted_data'='false');
然后运行前面提到的alter table添加分区。