我们通常使用以下代码删除mapreduce中的输出路径
outputPath.getFileSystem(conf).delete(outputPath,true);
我的问题是,我们可以在级联中做同样的事情吗?如果是,请告诉我这样做的步骤 三江源:)
答案 0 :(得分:3)
如果目的是为下次运行mapreduce重用输出目录,则将接收器的属性设置为SinkMode.REPLACE。它删除了hdfs输出DIR,mapreduce作业在重新运行之间不会失败。
Tap sink = new Hfs(<your scheme>,<your output hdfs dir>,SinkMode.REPLACE)