必须在GCloud上手动启动Hadoop集群

时间:2015-12-14 02:24:09

标签: hadoop google-cloud-platform

我一直在使用使用Google脚本创建的Hadoop群集几个月。

每次启动机器时,我都必须使用以下手动启动Hadoop:

sudo su hadoop
cd /home/hadoop/hadoop-install/sbin
./start-all.sh

除了脚本,我该如何解决?

或者这只是默认情况下的方式?

(群集创建后的第一次启动总是自动启动Hadoop,为什么不总是?)

2 个答案:

答案 0 :(得分:0)

您必须使用init.d进行配置。

Document为datameer提供了更多详细信息和示例脚本。您需要遵循类似的步骤。脚本应足够智能,以便在使用ssh调用此脚本之前检查群集中的所有节点是否已启动。

答案 1 :(得分:0)

虽然不同的第三方脚本和"入门"像zeros = arr == 0.0 without_zeros = arr[~zeros] np.allclose(without_zeros, 1, ...) 这样的解决方案对启动时自动重启Hadoop有不同程度的支持,官方支持的工具是bdutil作为自助部署工具,Google Cloud Dataproc作为托管服务,两者都已配置Cloud Launcher和/或init.d以在启动时自动启动Hadoop。

有关using bdutil here的详细说明。