Google Compute Engine上的Hadoop

时间:2014-11-11 10:13:04

标签: hadoop google-compute-engine google-hadoop

我正在尝试通过“启动点击部署软件”功能在Google Compute Engine中设置hadoop群集。我创建了1个主节点和1个从节点,并尝试使用master中的start-all.sh脚本启动集群节点,我得到错误“权限被拒绝(公钥)”。

我在从节点和主节点都生成了公钥和私钥。

目前我使用我的用户名登录主服务器,是否必须以“hadoop”用户身份登录master。如果是,该用户ID的密码是什么。

请让我知道如何克服这个问题。

1 个答案:

答案 0 :(得分:2)

部署创建一个用户hadoop,该用户拥有特定于Hadoop的SSH密钥,这些密钥是在部署时动态生成的;这意味着,由于start-all.sh使用SSH,您必须执行以下操作:

sudo su hadoop
/home/hadoop/hadoop-install/bin/start-all.sh

否则,您的“普通”用户名没有正确设置SSH密钥,因此您将无法启动Hadoop守护程序,如您所见。

需要注意的另一点是,部署应该已经自动启动了所有Hadoop守护程序,因此除非您在一些手动配置更新后重新启动守护程序,否则不需要手动运行start-all.sh。如果在部署运行后守护程序未运行,则在初始化期间可能会遇到一些意外错误。