如何告诉distcp忽略"找不到文件......"并落到下一个文件?

时间:2016-01-28 13:47:12

标签: hadoop hdfs distcp

我们使用distcp进行完整的HDFS备份需要很长时间才能运行,HDFS上的一些数据是"移动",即创建和删除它。这导致映射器失败java.io.FileNotFoundException: No such file or directory。这些文件并不重要,我们只是希望备份能够做到最好。

现在似乎-i"忽略失败"不是我们想要的,因为它会忽略地图级别而不是文件级别,也就是说,如果地图任务失败,将忽略与该地图任务相关联的所有文件。我们想要的只是该文件被忽略。

0 个答案:

没有答案