在我的Hadoop环境中,我需要配置我的从属节点,以便当它们在map / reduce作业中间进行通信时,它们使用内部IP而不是从主机名中获取的外部IP。
有没有办法设置我的Hadoop配置文件来指定节点应该使用内部IP而不是外部IP进行通信?我已经在我的core-site.xml,master和slave文件中使用了内部IP。
我做了一些研究,我看到有人提到“slave.host.name”参数,但是我将这个参数放在哪个配置文件中?这个问题还有其他解决办法吗?
谢谢!
答案 0 :(得分:0)
必须更改IP routing tables
,以便Hadoop节点之间的网络使用特定网关。不要认为Hadoop有任何设置可以改变使用哪个网关。
答案 1 :(得分:0)
您可以在mapred-site.xml中为每个从属节点配置slave.host.name。 还要记住对所有其他配置(core-site.xml,hdfs-site.xml,mapred-site.xml,masters,slave)以及/ etc / hosts文件一致地使用该主机名(而不是IP)。