从没有安装Hadoop(HDFS)的节点将数据导出到Hive

时间:2014-10-01 08:28:31

标签: hadoop export hdfs

是否可以将数据从未安装hadoop(HDFS)或Sqoop的节点导出到Hive服务器? 我会从一个源代码中读取数据,这些源代码可能是Mysql,或者只是某些目录中的文件,然后使用Hadoop核心类或类似Sqoop的数据将数据导出到我的Hadoop集群中。 我用Java编程。

1 个答案:

答案 0 :(得分:0)

由于您是最终目的地,因此是一个蜂巢表。我建议如下:

  1. 创建一个蜂巢决赛桌。
  2. 使用以下命令从其他节点加载数据

    LOAD DATA LOCAL INPATH '<full local path>/kv1.txt' OVERWRITE INTO TABLE table_name;
    
  3. 参考this

    使用Java,您可以使用JSCH lib来调用这些shell命令。

    希望这有帮助。