Hadoop的标准Mapper和Reducer类?

时间:2012-09-13 01:53:22

标签: hadoop spring-batch spring-data

是否有适用于Hadoop的软件包或标准Mapper和Reducers集合?

例如,OpenMP带有一组用于循环并行化的预定义reducers,它们派上用场,但不可扩展。一组类似的基本缩减器对Hadoop来说很方便。

使用Spring-Data Hadoop构建Spring Batch应用程序时,这样的集合非常有用。

如果没有这样的东西,我们可以开始收藏。

Kr,R

2 个答案:

答案 0 :(得分:2)

Hadoop附带了大量的Mappers和Reducers。它们存储在org.apache.hadoop.mapred.lib中,涵盖了各种用例。如果您想查看快速列表,thismapred.lib javadocs Web UI。看一看,看看是否符合您的需求。

答案 1 :(得分:0)

看看这个github project。我从来没有使用它,但它声称有弹簧和hadoop的东西。