从Netezza到HDFS的数据传输的Sqoop工作

时间:2015-11-04 11:34:01

标签: hadoop sqoop

我写了一个sqoop作业,用于将数据从Netezza中的表导入HDFS。作业已成功创建,并且在执行时也会启动Map Reduce作业。作业一直运行直到映射100%减少0%并卡住。作业永远不会完成,数据根本不会传输。没有观察到错误或异常。

我对同一数据库的其他表几乎没有类似的工作。那些正确执行并传输数据。这种行为可能是什么原因。

以下是选项文件中给出的sqoop作业的配置。

- 直接 --connect JDBC:Netezza公司:// URL / DATABASE_NAME - 用户名 A B C D - 密码 XYZ - 表 表名 --split,由 primary_key_column --target-DIR hdfs_path -m 8

1 个答案:

答案 0 :(得分:2)

我删除了--direct选项,并且工作按预期工作。如果数据有'直接选项不起作用,' Netezza的角色。以下是--direct:

遇到的异常错误

无法执行外部表导出 org.netezza.error.NzSQLException:错误:找到了delim','在数据字段中,指定escapeChar' \'外部表定义中的选项