hadoop-streaming：减少任务计算如何减少输入大小？以及如何解决它？

Question

我在jobtracker日志中看到以下内容：

011-11-02 10:04:09,595 WARN org.apache.hadoop.mapred.JobInProgress: No room for reduce task. Node tracker_worker1:localhost/127.0.0.1:52295 has 62087933952 bytes free; but we expect reduce input to take 176511226508    

• 我想知道hadoop如何计算减速器输入 176511226508 。
• 我有两个小工作节点，每个70个演出，一个减速器，我该如何解决这个问题？ by increasing the number of reducers?

Answer 1

检查ResourceEstimator#getEstimatedReduceInputSize()。与往常一样，getEstimatedReduceInputSize函数周围的注释是稀疏的。必须付出一些努力来理解它。