Question

我正在尝试使用Hadoop API --DFSCleint.getFileChecksum（）复制到HDFS后检查文件的一致性。

我得到以上代码的以下输出：

Null
HDFS : null
Local : null

有人可以指出错误或错误吗？这是代码：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileChecksum;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocalFileSystem;
import org.apache.hadoop.fs.Path;


public class fileCheckSum {

    /**
     * @param args
     * @throws IOException 
     */
    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub

        Configuration conf = new Configuration();

         FileSystem hadoopFS = FileSystem.get(conf);
    //  Path hdfsPath = new Path("/derby.log");

        LocalFileSystem localFS = LocalFileSystem.getLocal(conf);
    //      Path localPath = new Path("file:///home/ubuntu/derby.log");


    //  System.out.println("HDFS PATH : "+hdfsPath.getName());
    //      System.out.println("Local PATH : "+localPath.getName());

        FileChecksum hdfsChecksum = hadoopFS.getFileChecksum(new Path("/derby.log"));
        FileChecksum localChecksum = localFS.getFileChecksum(new Path("file:///home/ubuntu/derby.log"));


        if(null!=hdfsChecksum || null!=localChecksum){
            System.out.println("HDFS Checksum : "+hdfsChecksum.toString()+"\t"+hdfsChecksum.getLength());
            System.out.println("Local Checksum : "+localChecksum.toString()+"\t"+localChecksum.getLength());

            if(hdfsChecksum.toString().equals(localChecksum.toString())){
                System.out.println("Equal");
            }else{
                System.out.println("UnEqual");

            }
        }else{
            System.out.println("Null");
            System.out.println("HDFS : "+hdfsChecksum);
            System.out.println("Local : "+localChecksum);

        }

    }

}

Answer 1

由于您未在conf上设置远程地址，并且基本上使用相同的配置，因此hadoopFS和localFS都指向LocalFileSystem的实例。

getFileChecksum未针对LocalFileSystem实现，并返回null。它应该适用于DistributedFileSystem，如果您的conf指向分布式群集，FileSystem.get(conf)应该返回DistributedFileSystem的实例，返回MD5 of MD5 of CRC32 checksums大小为bytes.per.checksum的块。此值取决于块大小和群集范围的配置bytes.per.checksum。这就是为什么这两个参数也在分布式校验和的返回值中编码为算法的名称：MD5-of-xxxMD5-of-yyyCRC32其中xxx是每个块的CRC校验和数，yyy是bytes.per.checksum参数。

getFileChecksum并非旨在跨文件系统进行比较。虽然可以在本地模拟分布式校验和，或手工制作map-reduce作业来计算本地哈希的等价物，但我建议依赖Hadoop自己的完整性检查，这些检查是在文件被写入Hadoop或从Hadoop读取时发生的

HDFS文件校验和

1 个答案: