在级联中删除outputPath

时间:2015-12-11 05:25:59

标签: hadoop mapreduce cascading


我们通常使用以下代码删除mapreduce中的输出路径

outputPath.getFileSystem(conf).delete(outputPath,true);

我的问题是,我们可以在级联中做同样的事情吗?如果是,请告诉我这样做的步骤 三江源:)

1 个答案:

答案 0 :(得分:3)

如果目的是为下次运行mapreduce重用输出目录,则将接收器的属性设置为SinkMode.REPLACE。它删除了hdfs输出DIR,mapreduce作业在重新运行之间不会失败。

Tap sink = new Hfs(<your scheme>,<your output hdfs dir>,SinkMode.REPLACE)