我正在设置一个多节点hadoop集群,并在节点之间拥有无密码SSH的共享密钥。我将文件命名为~/.ssh/hadoop_rsa
,并可以使用ssh -i ~/.ssh/hadoop_rsa host
连接到其他主机。
我需要一些方法告诉hadoop在连接到其他节点时使用这个备用SSH密钥。
答案 0 :(得分:3)
似乎使用脚本在每个从站上运行命令:
$HADOOP_HOME/sbin/slaves.sh
该脚本在调用$HADOOP_SSH_OPTS
时包含对环境变量ssh
的引用。通过设置如下的环境变量,我能够告诉Hadoop使用不同的密钥文件:
export HADOOP_SSH_OPTS="-i ~/.ssh/hadoop_rsa"
感谢Hadoop邮件列表上的Varun指出我正确的方向