当使用“hdfs dfs -put”摄取文件时,客户端计算校验和并将输入数据+校验和发送到Datanode进行存储。
使用WebHdfs读取/写入文件时,如何进行校验和计算/验证?如何使用WebHdfs保证数据完整性?
关于apache的Hadoop文档没有提及它的任何内容。
答案 0 :(得分:0)
WebHDFS只是通常的datanode操作的代理。 Datanodes托管webhdfs servlet,它打开标准DFSClients并通过标准管道读取或写入数据。这是正常过程中的一个额外步骤,但并没有从根本上改变它。这是brief overview。