GCE上的Hadoop实例

时间:2014-04-28 09:37:53

标签: hadoop google-compute-engine cluster-computing google-cloud-dataproc

我正在Google Compute Engine上设置Hadoop群集。但是我无法理解群集实例的工作方式。我已经搜索了很多,但没有给出明确的答案。

在设置Hadoop集群时,是否创建了一个安装了Hadoop的实例的映像,每次启动此实例(映像)时都会创建其他实例(节点)?

但是这种方法需要每次创建节点时都必须配置节点吗?

有没有人有这方面的经验,可以提供一些关于在Google Compute Engine上设置Hadoop集群部分的文档?

1 个答案:

答案 0 :(得分:2)

有关在Google Cloud Platform上运行Hadoop的最新信息,请访问: https://developers.google.com/hadoop/

在那里,您可以找到Hadoop设置脚本,使您可以根据指定的配置详细信息快速启动Hadoop集群。安装脚本包括使用Hadoop分布式文件系统(HDFS)作为默认文件系统或Google云存储的选项 - 它提供了额外的功能,如自动容量扩展和在Hadoop集群生命周期内保存数据。