我在S3上以分区格式存在数据,这些数据应该与Hive一起使用,但路径看起来与Hive期望的完全不同。有没有办法让Hive知道我的非标准分区路径?
我的路径看起来像这样:
s3://some-bucket/pageviews/20120311/ACME1234/example.com/data-file-1
我能以某种方式告诉Hive将其解释为
s3://some-bucket/pageviews/dt=20120311/key=ACME1234/site=example.com/data-file-1
现有的路径就是它们,不能改变它们以适应Hive的期望。我也知道我可以用ALTER TABLE pageviews ADD PARTITION (...) LOCATION ...
手动添加所有分区,但即使我编写脚本,这也会很快变得乏味。