将压缩(gzip)数据从s3导入到hive

时间:2016-06-10 21:53:39

标签: hadoop amazon-s3 hive hdfs amazon

我在s3://mybucket/file/*.gzip中有一堆.gzip文件。

我使用以下方法加载到表中:

static_cast

它创建表,但不会将数据从s3加载到hive / hdfs。

感谢任何帮助?

感谢 Sanjeev

1 个答案:

答案 0 :(得分:0)

我认为s3:// mybucket / file /中的文件没有按Hive分区的正确目录结构组织。我建议您在s3:// mybucket / file /上创建一个没有分区和存储区的外部表,然后编写hive查询以从该表读取数据并写入分区/分区表。