根据我在Hadoop-3.x中的理解,他们引入了对Microsoft Azure Data Lake文件系统的支持,并且复制方案已更改。这些只是主要功能,是否是作为hadoop-3.x的一部分引入的任何其他新功能。?
复制方案如何在Hadoop-3.x中运行
答案 0 :(得分:1)
Hadoop 3.0将采用Erasure Coding代替复制,消耗相对较少的存储空间,同时提供相同级别的容错能力。
Hadoop 3x复制方案导致额外的200%存储空间和资源开销。
有关详细信息,请参阅“HDFS Erasure Coding”。
了解HDFS擦除编码的工作原理, 请参阅:“Introduction to HDFS Erasure Coding in Apache Hadoop”。