Hadoop MapReduce MultipleOutput删除_temporary目录

时间:2017-04-28 08:45:06

标签: hadoop mapreduce multipleoutputs

我正在oozie工作流程中使用mapreduce操作执行mapreduce作业。我在Reducer阶段使用multipleOutputs,因为我希望输出位于不同的目录中。我能够按预期在不同的目录中获得多个输出。但是,我目前面临的唯一问题是输出包含在_temporary目录和_taskid目录中。 例如:输出位于:/ user / sajain / output / _temp / _attempt_201702011607_103192_r_000003_1 /file1.xml

我的预期输出是:/user/sajain/output/file1.xml

工作顺利完成。根据官方的oozie文档,在成功的工作结束时,它应该删除此临时目录。任何人都可以请帮助

0 个答案:

没有答案