将数据从HDFS导入Hive表

时间:2011-04-22 23:23:00

标签: hadoop hdfs hive

我的数据位于HDFS中的data / 2011/01/13/0100 /文件中,每个文件都包含分隔符中的数据,比如name,ip,url。

我想在Hive中创建一个表并从hdfs导入数据,表应该包含time,name,ip和url。

如何使用Hive导入这些内容? r数据应该采用其他格式,以便我也可以导入时间?

3 个答案:

答案 0 :(得分:4)

您需要创建表以加载文件,然后使用LOAD DATA命令将文件加载到Hive表中。有关要使用的确切语法,请参阅Hive documentation

此致 杰夫

答案 1 :(得分:0)

要做到这一点,你必须使用分区,在这里阅读更多相关信息:

答案 2 :(得分:0)

您可以为此类数据创建外部表。

类似的东西:

  

CREATE EXTERNAL TABLE log_data(名称STRING,ip STRING,url STRING)   分区(年份BIGINT,月份BIGINT,白天BIGINT,小时BIGINT)   以'\ t'结尾的行格式分隔字段,存储为TEXTFILE   位置'数据'