Hadoop MapReduce的隐藏功能

时间:2010-12-14 19:55:40

标签: hadoop mapreduce

每个开发人员应该注意哪些Hadoop MapReduce的隐藏功能?

请回答每个答案的一个隐藏功能。

1 个答案:

答案 0 :(得分:1)

以下是一些提示和技巧http://allthingshadoop.com/2010/04/28/map-reduce-tips-tricks-your-first-real-cluster/

每个开发人员都应该注意到的一件事:

在您的Java代码中,有一个小技巧可以帮助工作在未完成但只是努力工作的任务集群中“意识到”。在执行任务期间,没有内置报告,如果作业没有写出,则作业正在按预期运行。因此,这意味着如果您的任务占用大量时间进行工作,则集群可能会将该任务视为失败(基于mapred.task.tracker.expiry.interval设置)。

不用担心有一种方法可以告诉群集你的任务正常。您有2种方法可以报告状态或增加计数器。这两个都将导致任务跟踪器正确地知道任务是正常的,并且这将由jobtracker轮流看到。 JavaDoc http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/mapred/Reporter.html

中解释了这两个选项