Hadoop Chain Jobs - 如果输入文件没有退出,则跳过第二个Job

时间:2013-11-25 17:10:40

标签: hadoop

我有两个hadoop工作。第一个作业将输出保存在hdfs文件中,第二个作业将此文件作为输入。当这个文件不存在时我有错误。如果第一个作业outfile不存在,我怎样才能跳过第二个作业?

1 个答案:

答案 0 :(得分:0)

使用此测试,但使用第一个作业创建的路径:

FileSystem fs = FileSystem.get(conf);
String inputDir= "HDFS file path";  
if (fs.exists(new Path(inputDir))) { 

    // this block gets executed only if the file path inputDir exists

}

块内的代码将包含第二个作业的配置和执行代码。