我正在尝试在oozie上运行MapReduce作业,该作业将HBase表快照作为其输入。目前,我可以使用org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil
来完成(不使用oozie工作流程),这为我提供了方法initTableSnapshotMapperJob()
。
在oozie中是否有类似的选项,我可以在其中指定HBase SNAPSHOT作为我的地图缩减作业的输入。如果没有,那么其他选择是什么?
答案 0 :(得分:0)
我认为你不能用oozie MapReduce Action做到这一点。也许,您可以使用Java Action。但是,使用Java Action,您需要为MapReduce作业编写驱动程序。
根据我对Oozie的经验,MapReduce操作除了基本的东西之外还有很多限制。例如:Oozie不支持ChainMapper和ChainReducer。
答案 1 :(得分:0)
你可以使用Uber jar。 Oozie允许直接安排超级罐,而无需配置Mapper和Reducer:
{{1}}
在此之前,请确保 oozie-site.xml
中 oozie.action.mapreduce.uber.jar.enable 属性设置为true