将数据从sql server导入hbase

Question

我知道Sqoop允许我们将数据从RDBMS导入HDFS。我想知道sqoop中的sql server连接器是否也允许我们将它直接导入HBase？我知道我们可以用mysql做到这一点。我想知道是否也可以使用sql server完成相同的工作

Answer 1

我在Hortonworks Sandbox中工作，我能够通过执行以下步骤将数据从SQL Server实例提取到HBase表中：

1. 将SQL Server JDBC驱动程序放到Hadoop框中。

curl -L 'http://download.microsoft.com/download/0/2/A/02AAE597-3865-456C-AE7F-613F99F850A8/sqljdbc_4.0.2206.100_enu.tar.gz' | tar xz

1. 将驱动程序复制到正确的位置，以便sqoop能够找到它：

cp sqljdbc_4.0/enu/sqljdbc4.jar /usr/lib/sqoop/lib

1. 运行sqoop导入

sqoop import --hbase-create-table --hbase-table table_name_in_hbase --column-family cf_name --hbase-row-key my_ID --connect "jdbc:sqlserver://hostname:1433;database=db_name;username=sqoop;password=???" --table tablename_in_sql_server -m 1

我引用了这些网站：

http://hortonworks.com/hadoop-tutorial/import-microsoft-sql-server-hortonworks-sandbox-using-sqoop/

http://souravgulati.webs.com/apps/forums/topics/show/8680714-sqoop-import-data-from-mysql-to-hbase

Answer 2

可以使用Sqoop从任何关系数据库直接将数据导入HBase。 这post如何使用Mysql数据库服务器完成，并将其直接导入HBase。

Answer 3

您可以将任何RDBMS中的数据导入HBase，因为它提供了JDBC驱动程序。与任何其他RDBMS的Sqoop接口都使用JDBC。