Question

我有一个像这样的现有S3文件夹结构，

s3://mydata/{country}/{date}/

{country}可以是30个不同国家/地区中的任何一个
{date}可以是自20150101以来的任何日期

如何通过将{country}视为分区并将{date}视为子分区来在Hive中阅读此内容？

Answer 1

您可以使用Hive DDL语句operator+

ALTER TABLE ADD PARTITION

您可以使用Shell脚本编写脚本，并将每个语句像ALTER TABLE mydata ADD PARTITION (country='south-africa', date='20191024') LOCATION 's3://mydata/south-africa/20191024/';一样传递给Hive

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AddPartitions

没有＆＃34; =＆＃34;的hive分区表的S3文件夹结构在里面

1 个答案: