如何将Sqoop连接到多个hadoop集群

Question

有没有将Sqoop连接到不同的Hadoop集群，以便可以创建多个Sqoop作业以将数据导出到多个hadoop集群？

Answer 1

  

将数据导出到多个hadoop集群

如果数据进入Hadoop，那么技术上就是Sqoop导入

目前尚不清楚当前如何从一台计算机管理不同的群集，但您需要将所有环境的conf文件夹用于Sqoop才能阅读

  

sqoop命令行程序是一个包装程序，它运行Hadoop附带的bin/hadoop脚本。如果您的计算机上存在多个Hadoop安装，则可以通过设置$HADOOP_HOME环境变量来选择Hadoop安装。

     

例如：

   $ HADOOP_HOME=/path/to/some/hadoop sqoop import --arguments...

     

或：

   $ export HADOOP_HOME=/some/path/to/hadoop
   $ sqoop import --arguments...

     

如果未设置$HADOOP_HOME，Sqoop将使用Cloudera的Hadoop发布的默认安装位置/usr/lib/hadoop。
  除非$HADOOP_HOME/conf/环境变量已设置，否则将从$HADOOP_CONF_DIR加载活动Hadoop配置

https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_controlling_the_hadoop_installation

根据你设置Hadoop的方式，Hortonworks只有Sqoop 1，而Cloudera（也许是MapR）有Sqoop2，而且这些指令可能不同，因为Sqoop2架构不同。