是否可以在数据传输期间配置map-reduce使用主机名而不是IP?

时间:2018-02-24 08:30:24

标签: hadoop hdfs distcp

目前我正在尝试使用distcp

在两个不同的hadoop群集之间迁移hdfs文件

源群集在网络中被隔离,每台机器都与外部和外部相关联。内部IP。 Namenode通过内部IP地址与datanode通信

在目标端,使用distcp时始终无法获取数据,因为它始终尝试使用源端的内部IP连接到源数据节点,这些IP总是无法访问。

org.apache.hadoop.hdfs.BlockReaderFactory: I/O error constructing remote block reader.
org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/10.47.194.252:50010]

是否可以在案例中将IP更改为主机名?然后我可以将源主机名映射到目标端的外部IP。

0 个答案:

没有答案