Hadoop分布式文件系统是否支持Google文件系统的任何更新操作?

时间:2013-09-26 21:31:05

标签: java hadoop mapreduce hdfs gfs

我正在阅读在Google文件系统上发布的论文,并发现GFS支持在现有文件的任意位置添加和更新。

据我所知,HDFS不支持更新操作,因为它适用于一次写入和多次读取功能。 HDFS现在支持附加操作。对于最近的版本,默认情况下dfs.support.append设置为false。

所以我的问题是我们可以通过哪种方式进行某种更新操作。我曾经尝试过,但我所知道的是HDFS不支持更新操作。

希望尽快收到你的来信。

仅供参考:我已经阅读了很多关于克劳德拉和其他人的帖子。我能够在hadoop贡献者的一些博客中找到HDFS确实支持更新操作的可能性。但没有人提到或做出如何更新操作的确切陈述。

1 个答案:

答案 0 :(得分:2)

目前的主要版本 Apache Hadoop 2.0 提供了几项重要的HDFS改进,包括新的附加管道。您可以在 append design document 上找到详细信息。这些是相关的门票:

<强> HADOOP-1700

<强> HDFS-265

顺便说一下,我也试过追加1.x。它有效,但不安全。