Question

我试图从db2服务器进行sqoop导入。我的sqoop导入如下

sqoop import --fields-terminated-by '\001' --direct --connection-manager com.cloudera.sqoop.manager.Db2Manager --connect jdbc:db2://***.***.***:***/*** --username **** --password *** --query "select * FROM ZA1.RSR WHERE \$CONDITIONS"

当我运行此查询时，我收到以下错误

Error: java.io.IOException: SQLException in nextKeyValue
    at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277)
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:556)
    at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80)
    at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
    at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1714)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
  Caused by: com.ibm.db2.jcc.b.SqlException: [jcc][t4][10199][10462][3.50.152] Required character converter is not available. ERRORCODE=-4220, SQLSTATE=null
    at com.ibm.db2.jcc.b.wc.a(wc.java:55)
    at com.ibm.db2.jcc.b.wc.a(wc.java:119)
    at com.ibm.db2.jcc.b.bc.a(bc.java:1758)
    at com.ibm.db2.jcc.b.bc.n(bc.java:496)
    at com.ibm.db2.jcc.b.bc.F(bc.java:1263)
    at com.ibm.db2.jcc.b.jk.d(jk.java:939)
    at com.ibm.db2.jcc.b.jk.getString(jk.java:917)
    at org.apache.sqoop.lib.JdbcWritableBridge.readString(JdbcWritableBridge.java:71)
    at com.cloudera.sqoop.lib.JdbcWritableBridge.readString(JdbcWritableBridge.java:61)
    at QueryResult.readFields(QueryResult.java:356)
    at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:244)

你可以帮我解决这个问题。

Answer 1

这是旧Db2 jdbc驱动程序版本中的一个已知错误。

您正在为Db2使用非常旧的（并且不支持）JDBC 3.0驱动程序。您的版本是V9.5 fixpack 0（驱动程序标识为3.50.152）。

建议您升级到当前支持的Db2 jdbc 4.0驱动程序，例如随Db2版本11.1提供的驱动程序，您可以在注册后从IBM修复中心网站下载适用于您的平台的这些驱动程序，或者请求您的Db2 DBA或现场支持人员正确升级驱动程序。

根据您的配置，有时可以通过客户端上的Java策略文件更改来解决此问题，以授予对sun.io包的访问权限。但一般情况下，如果您使用当前支持的db2 jdbc 4.0驱动程序，则会遇到更少问题，尤其是在使用当前客户端工具集版本时。

在nextKeyValue中从db2 SQLException导入Sqoop

1 个答案: