Question

我在java-oracle 7中使用hadoop 1.0.3 - 当我在大数据中运行大约1.5GB大小的单词计数代码时，在复制步骤中将时间缩短到10小时或更长时间需要很长时间。系统有16个节点;一个naster和15个slave每个节点有：群集摘要如下：

Configured Capacity: 2.17TB
DFS Used: 4.23GB
Non DFS USed:193.74GB
DFS Remaining: 1.98TB
DFS Used%: .19%
DFS Remaining%: 91.09%
Live Nodes: 16
Dead Nodes: 0
Decomissioned Nodes: 0
Number of Under Replicated Blocks: 0

the reducer output

我尝试使用29个mapper和1个reducer，16个reducer，35个reducer，56个reducer ......问题是一样的，出现错误＆＃34;太多fetch failer＆＃34;

Answer 1

使用了多少个映射器和缩减器？看起来你使用的减速器数量非常少如果减速器数量较少，您会发现性能不佳您需要根据您的上下文和可用工作节点数配置映射器和缩减器。

为什么hadoop 1.0.3中的减速器非常慢

1 个答案: