映射器写入HDFS和Reducer写入HBase表

时间:2014-04-24 08:55:54

标签: hadoop mapreduce hbase

我有一个map map reduce(比如Job1),mapper扩展了

  

Mapper<对象,对象,KeySet,ValueSet>

假设我想在还原步骤中对ValueSet中的所有值求和。

在缩小(键,Iterable)之后,我想将最终的缩减值写入HBase表而不是HDFS,在Job1的缩减器中 HBase中的表将是用于未来的工作。

我知道我只能写一个映射器Job2,它读取HDFS中的简化文件(由Job1编写)并将数据导入HBase表,但我想避免两个冗余的I / O操作。

我不想更改Job1的Mapper类以写入HBase,因为我只想写入HBase表的特定值,其他我想继续写入HDFS。

有没有人尝试类似的东西,可以提供指针? 我看过HBase mapreduce: write into HBase in Reducer,但我的问题有所不同,因为我不想在映射器中向HBase写任何内容。

0 个答案:

没有答案