HDFS是否在Hadoop的键值存储之上实现?怎么样?

时间:2018-06-27 03:02:19

标签: hadoop amazon-s3 hdfs

我一直以为答案是肯定的,HDFS是在Hadoop Key-Value存储之上实现的,但是我看不到任何证据(不,我不会阅读源代码!)。我希望有一篇文章,文档或论文能够解释HDFS如何操纵键值NoSQL存储元模型来实现基本文件操作,例如读取,追加,列表目录,获取元数据等。想想看,我想知道AWS的S3也建立在NoSQL数据库上。

从逻辑上讲,我认为您可以使用键值存储为文件系统建模,其中每对代表文件中的一行,这使得将新数据追加到大型文件的速度比传统文件快得多。但我想看看是否还有其他实际考虑。

我为什么要问

AWS S3不支持附加到文件,我真的很想拥有一个永久性的云存储,并且我希望该永久性存储可以作为文件系统访问(因此,没有RDBMS,KV,Columnar,Document DB等)。我想知道HDFS是否可以满足我的应用程序需求。

1 个答案:

答案 0 :(得分:0)

如评论中所述,Hadoop不是像Riak这样的键值存储。 HBase是我正在考虑的NoSQL数据库,但这不是简单的键值存储,而是列式存储。

此外,我认为与我认为的事实相反:HBase建立在HDFS之上,反之亦然。