我有一个map map reduce(比如Job1),mapper扩展了
Mapper<对象,对象,KeySet,ValueSet>
假设我想在还原步骤中对ValueSet中的所有值求和。
在缩小(键,Iterable)之后,我想将最终的缩减值写入HBase表而不是HDFS,在Job1的缩减器中 HBase中的表将是用于未来的工作。
我知道我只能写一个映射器Job2,它读取HDFS中的简化文件(由Job1编写)并将数据导入HBase表,但我想避免两个冗余的I / O操作。
我不想更改Job1的Mapper类以写入HBase,因为我只想写入HBase表的特定值,其他我想继续写入HDFS。
有没有人尝试类似的东西,可以提供指针? 我看过HBase mapreduce: write into HBase in Reducer,但我的问题有所不同,因为我不想在映射器中向HBase写任何内容。