WebHdfs中的校验和计算

时间:2016-01-13 05:49:07

标签: hdfs checksum data-integrity webhdfs

当使用“hdfs dfs -put”摄取文件时,客户端计算校验和并将输入数据+校验和发送到Datanode进行存储。

使用WebHdfs读取/写入文件时,如何进行校验和计算/验证?如何使用WebHdfs保证数据完整性?

关于apache的Hadoop文档没有提及它的任何内容。

1 个答案:

答案 0 :(得分:0)

WebHDFS只是通常的datanode操作的代理。 Datanodes托管webhdfs servlet,它打开标准DFSClients并通过标准管道读取或写入数据。这是正常过程中的一个额外步骤,但并没有从根本上改变它。这是brief overview