如何强制hadoop使用一定数量的map任务

时间:2012-09-08 23:58:52

标签: hadoop mapreduce

运行hadoop作业,我将地图设置为100,然后将reduce减少为1(我实际上没有减少任何东西)。

conf.setNumMapTasks(100);
conf.setNumReduceTasks(1);

作业运行后,我查看hadoop日志,我看到使用了一个reduce任务,并且使用了零(0)map任务。现在我有两个问题:

1)即使我的工作很小,地图任务的数量也不应该至少为一个吗?

2)有没有办法强制hadoop运行指定数量的map任务?我已经知道conf.setNumMapTasks(100)只是一个暗示。但还有另一种方式吗?

0 个答案:

没有答案