Hadoop:在可用节点之间分发映射器

时间:2014-10-09 17:28:44

标签: java hadoop mapreduce

我有一个包含hdfs上k个文件路径的文件,我将它作为hadoop的输入传递给启动k映射器(每个文件路径一个)。每个映射器都应该使用定义的文件名处理文件。我的问题是,是否有任何方法可以确保hadoop将使用所有可用节点来处理k映射器而不是在单个节点上逐个运行所有k个节点?我需要这个,因为文件处理需要花费大量时间,我真的需要并行处理文件,但不是hadoop自己决定的。

由于

0 个答案:

没有答案