根据Hadoop : The Definitive Guide。
新API支持“推”和“拉”式迭代。在这两个API中,键值记录对被推送到映射器,但此外,新API允许映射器从map()方法中提取记录。减速机也是如此。 “拉”样式如何有用的一个例子是批量处理记录,而不是逐个处理。
有没有人在Map / Reduce函数中提取数据?我对API或示例感兴趣。
答案 0 :(得分:5)
我发布了一个查询@ mapreduce-user@hadoop.apache.org并得到了答案。
可以从传递给地图的上下文对象中检索下一个键值对,方法是调用它上面的nextKeyValue()。因此,您将能够在新API中从中提取下一个数据。
在这种情况下,拉动的性能是否优于推动?此外,拉动有用的场景是什么?