Question

我的数据分布在多个目录和这些目录中的多个制表符分隔文件中。一般结构如下：

s3://bucket_name/directory/{year}{month}/{iso_2}/{year}{month}{day}_table.bcp.gz

其中{year}是4位数的年份，{month}是2位数的月份，{day}是2位数的日期，{iso_2}是ISO2国家/地区代码

如何在Athena中将其设置为表格？

Answer 1

Athena使用Hive DDL，因此您只需运行一个普通的Hive创建语句：

CREATE EXTERNAL TABLE table_name(
  col_1 string,
...
  col_n string)
PARTITIONED BY (
   year_month string,
   iso_2 string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION 's3://bucket_name/directory/';

然后通过运行MSCK REPAIR TABLE table_name将这些目录注册为所需表的新分区。如果由于某种原因（有时在Athena中失败）而失败，则您需要为现有目录运行所有添加分区语句：

ALTER TABLE table_name ADD PARTITION 
     (year_month=201601,iso=US) LOCATION 's3://bucket_name/directory/201601/US/'; 
ALTER TABLE table_name ADD PARTITION 
     (year_month=201602,iso=US) LOCATION 's3://bucket_name/directory/201602/US/';
ALTER TABLE table_name ADD PARTITION 
     (year_month=201601,iso=GB) LOCATION 's3://bucket_name/directory/201601/GB/';
etc.

雅典娜表有多个位置

1 个答案: