我正在阅读在Google文件系统上发布的论文,并发现GFS支持在现有文件的任意位置添加和更新。
据我所知,HDFS不支持更新操作,因为它适用于一次写入和多次读取功能。 HDFS现在支持附加操作。对于最近的版本,默认情况下dfs.support.append设置为false。
所以我的问题是我们可以通过哪种方式进行某种更新操作。我曾经尝试过,但我所知道的是HDFS不支持更新操作。
希望尽快收到你的来信。
仅供参考:我已经阅读了很多关于克劳德拉和其他人的帖子。我能够在hadoop贡献者的一些博客中找到HDFS确实支持更新操作的可能性。但没有人提到或做出如何更新操作的确切陈述。
答案 0 :(得分:2)
目前的主要版本 Apache Hadoop 2.0 提供了几项重要的HDFS改进,包括新的附加管道。您可以在 append design document 上找到详细信息。这些是相关的门票:
<强> HADOOP-1700 强>
<强> HDFS-265 强>
顺便说一下,我也试过追加1.x。它有效,但不安全。