链接Hadoop MapReduce 1.1.1示例

时间:2013-02-15 02:01:08

标签: hadoop mapreduce

我是Hadoop的初学者,但在Hadoop 1.1.1中,我正在尝试做地图 - >减少 - >地图 - >降低。我很难找到一个如何在Java中执行此操作的具体示例。我真的很好奇整个驱动程序方法会是什么样子。我目前正在使用org.apache.hadoop.mapreduce库(我相信它是最新的代码库)。

另外,如果我不需要,我宁愿不安装像Oozie这样的其他库。

1 个答案:

答案 0 :(得分:3)

我认为这可能会对您有所帮助:http://blogs.msdn.com/b/avkashchauhan/archive/2012/03/29/how-to-chain-multiple-mapreduce-jobs-in-hadoop.aspx

你也可以根据你想要实现的目标来研究ChainMapper(http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/ChainMapper.html)。但这仅适用于一个reduce。如果你想专门去地图 - >减少 - >地图 - >减少,我会用我的第一个链接。