当hadoop程序在运行应用程序时,是否可以自动添加节点

时间:2013-03-11 06:55:57

标签: hadoop

我是初学程序员和hadoop学习者。 我正在使用5台PC测试hadoop完全分配模式(具有双核cpu和ram 2G)  在启动maptask和hdfs之前,我知道我必须配置文件(Ip上的etc / hosts,hostname和hadoop文件夹/ conf / masters,slave文件)所以我完成了配置文件

当我在公司讨论研讨会时,我的老板和负责人坚持认为即使hadoop应用程序运行状态,如果hadoop需要更多节点或集群,自动,hadoop会添加更多节点  可能吗?当我研究hadoop clusturing时,许多hadoop书和社区站点坚持认为在配置和运行应用程序之后,我们无法添加更多的节点或集群。  但是我的老板告诉我亚马逊说可以在运行应用程序时添加节点。  真的如此吗?  堆栈溢出社区的hadoop主用户,请告诉我有关真相的详细信息。

1 个答案:

答案 0 :(得分:2)

是的确有可能。

Here是hadoop维基中的解释。

此外,亚马逊的EMR可以在运行中的集群中即时添加100个节点,并且一旦机器启动,它们就会被主机委派任务(未启动的映射器和/或减速器任务)。

所以,是的,这是非常可能的,并且正在使用,而不仅仅是在理论上。