我正在使用由我们的部门技术人员管理的hadoop集群。要使用它我只需要在两个文件(core-site.xml和mapred-site.xml)中设置参数,我很高兴。
我的问题是,有没有办法控制我的hadoop程序中涉及的节点数量?我知道如果我自己管理集群,我可以修改配置文件中的重复数量。但由于我无法访问该文件,我似乎不走运。
我知道setNumMapTasks()和setNumReduceTasks()方法。这两种方法可以以编程方式设置map / reduce任务的数量。但这些数字不一定能转化为实际运行的节点吗?
我听说Amazon EC2允许您通过使用命令设置所涉及的节点数量,是否允许常规的hadoop实现?
感谢。
答案 0 :(得分:0)
不。它不能通过程序完成。您可以更改配置以实现此目的