我们使用distcp
进行完整的HDFS备份需要很长时间才能运行,HDFS上的一些数据是"移动",即创建和删除它。这导致映射器失败java.io.FileNotFoundException: No such file or directory
。这些文件并不重要,我们只是希望备份能够做到最好。
现在似乎-i
"忽略失败"不是我们想要的,因为它会忽略地图级别而不是文件级别,也就是说,如果地图任务失败,将忽略与该地图任务相关联的所有文件。我们想要的只是该文件被忽略。