我正在尝试将数据从Talend写入Hortonworks沙盒Hadoop设置。
在激活talend作业以发送数据时,它会在控制台中生成以下异常和警告。但是,Talend作业在Hortonworks环境中创建文件,但无法在那里写入数据。
[统计]连接到端口3740 [统计]连接的套接字 [WARN]:org.apache.hadoop.util.NativeCodeLoader - 无法加载 适用于您平台的native-hadoop库...使用builtin-java类 适用范围组件tHDFSOutput_1中的异常 java.io.IOException:DataStreamer异常:at org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.run(DFSOutputStream.java:697) 引起:java.nio.channels.UnresolvedAddressException at sun.nio.ch.Net.checkAddress(未知来源)at sun.nio.ch.SocketChannelImpl.connect(未知来源)at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:192) 在org.apache.hadoop.net.NetUtils.connect(NetUtils.java:530)at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1611) 在 org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.createBlockOutputStream(DFSOutputStream.java:1409) 在 org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1362) 在 org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.run(DFSOutputStream.java:589) [WARN]:org.apache.hadoop.hdfs.DFSClient - DataStreamer异常 java.nio.channels.UnresolvedAddressException at sun.nio.ch.Net.checkAddress(未知来源)at sun.nio.ch.SocketChannelImpl.connect(未知来源)at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:192) 在org.apache.hadoop.net.NetUtils.connect(NetUtils.java:530)at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1611) 在 org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.createBlockOutputStream(DFSOutputStream.java:1409) 在 org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1362) 在 org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.run(DFSOutputStream.java:589) [statistics]已断开[错误]:org.apache.hadoop.hdfs.DFSClient - 无法关闭inode 17106 java.io.IOException:DataStreamer 例外:at org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.run(DFSOutputStream.java:697) 引起:java.nio.channels.UnresolvedAddressException at sun.nio.ch.Net.checkAddress(未知来源)at sun.nio.ch.SocketChannelImpl.connect(未知来源)at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:192) 在org.apache.hadoop.net.NetUtils.connect(NetUtils.java:530)at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1611) 在 org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.createBlockOutputStream(DFSOutputStream.java:1409) 在 org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1362) 在 org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.run(DFSOutputStream.java:589) 工作测试于2017年3月18日16:50结束。 [退出代码= 1]