我已经以hive格式将分区数据存储在s3中。
/bucket/year=2017/month=02/date=20
/bucket/year=2017/month=02/date=21
我在Athena创建了一个外部表
CREATE EXTERNAL TABLE mts_prod_8(
event struct<type:string, id:string>,
longitude double,
application string,
latitude double,
device_id string,
trip_id string
)
PARTITIONED BY (year string, month string, date string)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
WITH SERDEPROPERTIES ('serialization.format' = '1') LOCATION 's3://mts-data/dispatcher/'
每天都会在s3中添加新分区,并将其加载到athena表中,然后运行以下查询
MSCK REPAIR TABLE TABLE_NAME
但不知何故上面的查询失败并且元数据没有被加载。
我完全陷入其中。
任何帮助都会得到满足。
提前致谢