在hadoop作业中跳过不存在的输入路径

时间:2015-02-16 10:27:32

标签: java performance hadoop hadoop2

是否有一种有效的方法可以跳过hadoop作业中不存在的输入路径?

如果数据存储在Amazon S3和大量文件中,迭代路径并检查每个文件是否存在需要花费大量时间。

使用hadoop 2.4,java

0 个答案:

没有答案