DB2数据导入hadoop

时间:2014-05-29 12:35:46

标签: hadoop import db2 hive sqoop

我想将数据从DB2数据库导入到hadoop(HDFS,Hive)。一种方法是通过sqoop来做,我们可以用其他方式做同样的事情吗?请分享另一种做法的方法..感谢

3 个答案:

答案 0 :(得分:2)

Sqoop是最好的方式。其他任何东西都需要大量的自定义代码。我实际上是在一个项目中,我们有一个非常深奥的原因,我们无法使用Sqoop,最终并没有那么微不足道。您最终担心翻译类型,处理空值,编码,转义,重试,交易等等。

为什么重新发明轮子?没有其他RDBMS< - >我知道Hive连接器,因为Sqoop做得很好。使用Sqoop,除非你有非常好的,非常具体的理由不这样做。

答案 1 :(得分:0)

使用DB2导出实用程序将数据从数据库导出到文件,然后将FTP平面文件导出到Hadoop,然后加载到Hive。

简单导出操作需要目标文件,文件格式和源文件。 db2导出到“fileformat”的“target”选择*来自“soruce”

答案 2 :(得分:0)

尝试使用此Sqoop命令。

sqoop import --driver com.ibm.db2.jcc.DB2Driver --connect jdbc:db2://db2.my.com:50000/databaseName --username database_name --password database_password --table table_name --split-by tbl_primarykey --target-dir sqoopimports