关于随机写操作的“附加操作”有哪些例子?

时间:2012-01-07 00:21:43

标签: architecture io filesystems gfs

我刚读完Google文件系统(GFS)文件。该报称GFS正在

optimized for appending operations rather than random writes. 

鉴于整篇论文都强调了这一特点,我认为它必须非常重要。

作为一个根本没有工作经验的学生,谷歌所说的Appending Operations有哪些现实生活中的例子?听起来非常激烈。

1 个答案:

答案 0 :(得分:1)

这是Google文件系统的核心限制。它与GPFS等通用并行文件系统形成鲜明对比。然而,它使设计变得更容易,例如,复制。由于谷歌能够围绕其文件系统设计其应用程序,并且因为随机操作本质上很慢(在旋转媒体上),这对他们来说很好。

很多东西都是“附加”操作:

  • 新日志条目将附加到日志文件中。 (GoogleFS也可以附加到已经关闭的文件中(有一些限制,非常相似http://hadoop.apache.org/hdfs/无法执行此操作)。
  • 新的网络抓取数据会附加到抓取文件,而不是覆盖文件中现有的抓取版本。
  • 所有MapReduce(您还应阅读该文章)输出正在从头到尾编写文件,将键/值对附加到文件中。
  • ...

附加对文件的所有写入都不会使用搜索或写入操作更新文件中间的数据。随机写入的最重要用法是(经典)数据库后端。