带有Talend的HDFS

时间:2017-01-10 10:59:18

标签: hadoop talend

我正在尝试使用Talend 6.3将来自本地Windows机器的csv文件放到HDFS中

我有4个节点集群(来自azure的所有linux服务器):

1个Namenode和3个Datanode。

我在运行时遇到以下错误:

"组件tHDFSPut_1中的例外情况 org.apache.hadoop.ipc.RemoteException(java.io.IOException):文件/user/root/5/source.csv只能复制到0个节点而不是minReplication(= 1)。在此操作中,有3个数据节点正在运行,3个节点被排除。"

文件是在HDFS中创建的,但它是空文件。

注意:我正在 NameNode网址

中编写我的Namenode IP地址

我和沙盒一样尝试过。那里也有同样的错误。

更新

我创建了一个完整的新集群(1个namenode和3个datanode)。我仍然得到同样的错误。

一切都在运行,并且是绿色的(在Ambari中)。我可以通过hadoop fs -put输入文件。可能在talend有问题吗?

0 个答案:

没有答案