在两个不同版本的hadoop之间的数据传输期间得到校验和不匹配

Question

我是hadoop的新手。我正在使用distcp命令在hadoop 0.20和hadoop 2.2.0之间传输数据。 在转移期间，我得到以下错误：

  

校验和不匹配   HFTP：//10.0.3.28：50070 /蜂房/仓库/ staging_precall_cdr /操作员=想法/ PRECALL_CDR_Assam_OCT_JAN.csv   和   HDFS：//10.0.20.118：9000 /用户/蜂巢/仓库/ PRECALL_CDR_Assam_OCT_JAN.csv

我还使用了-skipcrccheck和-Ddfs.checksum.type=CRC32，但没有得到任何解决方案。 解决方案将不胜感激。

Answer 1

它似乎是Jira中的已知问题，在0.20和2.2.0 hadoop版本https://issues.apache.org/jira/browse/HDFS-3054之间复制数据。

此问题的解决方法是使用-pbc在distcp复制中启用保留块和校验和。

hadoop distcp -pbc <SRC> <DEST>