通过map中的map函数减少文件

时间:2014-02-27 17:47:51

标签: hadoop mapreduce hadoop-partitioning

是否有可能以某种方式通过每个地图功能传递一组文件。要求是为不同的操作并行处理每个文件。我是全新的map reduce,我使用JAVA作为我的编程语言。

1 个答案:

答案 0 :(得分:1)

如果你想获得与所有映射器的输入相同的文件,为了只读访问,是的。您可以将主(Driver)类中的文件添加到所谓的分布式缓存中。可以找到更多详细信息here