hdfs 将文件夹复制到网络文件系统最终出错

时间:2021-02-24 10:27:31

标签: hdfs

我的一个客户端用于将某些 HDFS 文件夹的内容保存到 NFS 卷。有时在复制过程中我会收到以下错误

copying /folder/foo
copyToLocal: Input/output error

我认为 foo 文件夹中的某些文件可能已损坏,但是使用 hdfs fsck 进行检查并没有报告任何异常。在 foo 文件夹中有很多文件,因此手动搜索奇怪的东西是不可行的。我试图为 copyToLocal 命令启用调试模式,但没有关于任何类型错误的线索。我该如何调试这个问题?

我有直觉认为 NFS 上存在一些网络问题,但我也不知道如何调试此类问题。

HDFS 文件夹也很大,不知道会不会引起其他问题。

我们处于 Kerberos 环境中,我们在 kinit 之后以 hdfs 超级用户身份执行命令。

附言可能 SO 不是问这个问题的正确地方,请随时将我重定向到正确的网站 :)

0 个答案:

没有答案
相关问题