我是初学程序员和hadoop学习者。 我正在使用5台PC测试hadoop完全分配模式(具有双核cpu和ram 2G) 在启动maptask和hdfs之前,我知道我必须配置文件(Ip上的etc / hosts,hostname和hadoop文件夹/ conf / masters,slave文件)所以我完成了配置文件
当我在公司讨论研讨会时,我的老板和负责人坚持认为即使hadoop应用程序运行状态,如果hadoop需要更多节点或集群,自动,hadoop会添加更多节点 可能吗?当我研究hadoop clusturing时,许多hadoop书和社区站点坚持认为在配置和运行应用程序之后,我们无法添加更多的节点或集群。 但是我的老板告诉我亚马逊说可以在运行应用程序时添加节点。 真的如此吗? 堆栈溢出社区的hadoop主用户,请告诉我有关真相的详细信息。答案 0 :(得分:2)
是的确有可能。
Here是hadoop维基中的解释。
此外,亚马逊的EMR可以在运行中的集群中即时添加100个节点,并且一旦机器启动,它们就会被主机委派任务(未启动的映射器和/或减速器任务)。
所以,是的,这是非常可能的,并且正在使用,而不仅仅是在理论上。