无法在天蓝色的hadoop中设置映射器的数量

时间:2012-10-25 22:37:30

标签: java azure hadoop

我正在使用微软的Azure上的hadoop运行一些mapreduce作业。 我已将dfs.block.size设置为16777216(即16MB)并将mapred.max.split.size设置为16MB。 我还通过分别将每个任务跟踪器中的地图任务数设置为16。 (它是一个3 + 1节点集群)。 我还尝试使用-D选项设置mapred.map.tasks属性。 但是这些努力都没有成功地增加了地图任务的数量,令人惊讶地仍然是1 ..

有什么建议吗? 提前谢谢..

编辑:输入大小很大(以GB为单位)

2 个答案:

答案 0 :(得分:0)

检查,该文件未压缩。

答案 1 :(得分:0)

也许你的设置不起作用。

您可以在作业配置页面检查运行时间作业配置,hadoop作业配置页面为http://<host>:<port>/jobconf.jsp?jobid=<jobid>