如何在Map / Reduce函数中提取数据?

时间:2011-09-24 08:01:56

标签: hadoop mapreduce pull

根据Hadoop : The Definitive Guide

  

新API支持“推”和“拉”式迭代。在这两个API中,键值记录对被推送到映射器,但此外,新API允许映射器从map()方法中提取记录。减速机也是如此。 “拉”样式如何有用的一个例子是批量处理记录,而不是逐个处理。

有没有人在Map / Reduce函数中提取数据?我对API或示例感兴趣。

1 个答案:

答案 0 :(得分:5)

我发布了一个查询@ mapreduce-user@hadoop.apache.org并得到了答案。

可以从传递给地图的上下文对象中检索下一个键值对,方法是调用它上面的nextKeyValue()。因此,您将能够在新API中从中提取下一个数据。

在这种情况下,拉动的性能是否优于推动?此外,拉动有用的场景是什么?