是什么导致mapreduce作业只在hbase中为100000行创建一个映射

时间:2014-02-11 08:51:38

标签: hadoop mapreduce hbase

我想知道什么配置导致mapreduce只有一个地图,而输入分割为10000,每个地图为1000的行在作业配置中设置。

它是一个2节点集群,我尝试使用startRow和endRow进行扫描。

我想拥有至少2张地图,每台机器上有一张。

2 个答案:

答案 0 :(得分:1)

默认情况下,HBase表上的M / R任务在区域边界上被拆分。如果您只有一个10K行的区域,则只能获得一个映射器。

如果您只有一个区域,那么您可以简单地拆分表格中的区域,并有2个区域,因此有2个映射器。

答案 1 :(得分:0)

这是一个关键问题。行键由相同的前缀组成,并且仅存储在一个RS中。