Cloudera可安装HDFS是否提供重复数据删除

Question

着眼于运行基于HDFS的存储集群，并查看通过Cloudera版本使用可安装HDFS系统的简单方法。

我问的第一个问题是，它会提供数据的自动重复数据删除吗？

我问第二个问题，如果所有用户删除包含特定重复数据删除块的文件，是否会执行重复数据删除，那么实际上是从存储中删除该块还是只删除该用户的索引/引用？

最后，此方法是否包含Rainstor压缩方法？

感谢您的输入

Answer 1

不，HDFS不包括重复数据删除。

该体系结构主要侧重于最佳地使用顺序写入/读取模式，因此它几乎与重复数据删除相反，因为我所知道的每种重复数据删除方法都会引入一定量的随机IO模式。