Question

我正在使用亚马逊上安装的HBase version 1.3.1并试图＆＃34;导入＆＃34;我的MSSQL RDBMS数据库使用Sqoop ver进行HDFS。 1.4.6。不幸的是，试验没有成功。 Sqoop版本1.4.6与HBase 1.3.1兼容吗？它会成功执行导入吗？

以下是我用来导入MSSQL DB＆＃34;版本1.4.6＆＃34;

的命令

sqoop-import --connect "jdbc:sqlserver://SMSSQLDBSerevrname:Port; database=DBName;" 
--username MSSQLDBUserName --P 
--table MSSQLTableName 
--hbase-table HBaseTableName 
--column-family MyColFamilyName 
--hbase-row-key MSSQLTablePrimaryId

Answer 1

嗯.. HBase jar文件中存在冲突的主要问题是解决方案是添加一个指令来使用Sqoop bin目录，所以我在上面记录的命令结构中添加了以下内容：

- bindir / usr / lib / sqoop /
--target-dir / usr / lib / sqoop / bin / tempd8 / media
-verbose

请注意 1. bindir 是sqoop“bin”目录所在的目录 2. target-dir 是将要/将要存储源表数据的位置。 3. -verbose 只是为了提供更多调试信息。

此外，我遇到了内存管理问题，我可以使用以下链接解决这些问题： https://community.cloudera.com/t5/Data-Ingestion-Integration/jpb-submitted-to-mapreduce-in-Yarn-is-stuck-while-ingesting-data/td-p/57410/page/2 https://community.cloudera.com/t5/Cloudera-Manager-Installation/Map-Reduce-Jobs-not-starting-on-local-CDH-5-7-0-installation/td-p/39563

============要验证sqoop导入，请运行以下命令转到/ usr / lib / hadoop /目录 hadoop fs -cat / usr / lib / sqoop / bin / tempd8 / media / part-m- *其中'/ usr / lib / sqoop / bin / tempd8 / media'是sqoop import命令中的目标目录。

注意：致力于担心上述职位有用性的工程师

HBase与Sqoop的兼容性

1 个答案: