在Oozie Workflow中使用HBase表快照

时间:2015-03-05 20:35:41

标签: hadoop mapreduce hbase oozie hadoop2

我正在尝试在oozie上运行MapReduce作业,该作业将HBase表快照作为其输入。目前,我可以使用org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil来完成(不使用oozie工作流程),这为我提供了方法initTableSnapshotMapperJob()

在oozie中是否有类似的选项,我可以在其中指定HBase SNAPSHOT作为我的地图缩减作业的输入。如果没有,那么其他选择是什么?

2 个答案:

答案 0 :(得分:0)

我认为你不能用oozie MapReduce Action做到这一点。也许,您可以使用Java Action。但是,使用Java Action,您需要为MapReduce作业编写驱动程序。
根据我对Oozie的经验,MapReduce操作除了基本的东西之外还有很多限制。例如:Oozie不支持ChainMapper和ChainReducer。

答案 1 :(得分:0)

你可以使用Uber jar。 Oozie允许直接安排超级罐,而无需配置Mapper和Reducer:

{{1}}

在此之前,请确保 oozie-site.xml

oozie.action.mapreduce.uber.jar.enable 属性设置为true