Question

我想从oozie调度程序运行Hbase TableMapReduce作业。我有一个驱动程序，映射器和没有reducer类。从具有最佳性能的hadoop生态系统的oozie开始这项工作的最佳方式是什么？目前我正在oozie工作流中为驱动程序类使用Java操作。

<action name="custom-java-action-mr">
    <java>
        <main-class>com.mr.sample.MyJobDriver</main-class>
        <capture-output/>
    </java>
    <ok to="fork1"/>
    <error to="kill"/>
</action>

使用它作为map-reduce操作会有好处吗？如果是，那么请举例说明。

Job job = Job.getInstance();

job.setJobName("My Custom Job");

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(NullOutputFormat.class);

job.setJarByClass(MyJobDriver.class);
Scan scan = new Scan();
scan.addFamily(Bytes.toBytes(Entity.FAMILY_NAME));
scan.setCaching(10000);
scan.setCacheBlocks(false);
TableMapReduceUtil.initTableMapperJob(Entity.TABLE_NAME, scan,
        MyJobMapper.class, ImmutableBytesWritable.class, Result.class, job);

目前Hbase连接不安全，但我们在生产环境中确实有hbase安全连接。谢谢

hbase map-reduce with oozie可获得最佳性能

0 个答案: