Google文件系统中的块大小问题

时间:2011-04-22 19:30:28

标签: language-agnostic filesystems

Google File System Paper -

  

块大小是关键设计之一   参数。我们选择了64 MB,   这比典型的文件大得多   系统块大小。每个块   副本存储为普通Linux   文件在chunkserver上并被扩展   只在需要时。懒惰的空间分配   避免因内部浪费空间   支离破碎,也许是最伟大的   反对如此大块的反对意见   大小

什么是延迟空间分配以及如何解决内部碎片问题?

  

一个小文件包含一个小文件   块数,也许只有一个。   存储这些块的块服务器   如果很多客户可能成为热点   正在访问同一个文件...我们   通过存储这个来解决这个问题   具有更高复制的可执行文件   因素和制作批处理队列   系统错开应用程序启动   次。

什么是惊人的应用程序启动时间以及如何避免块服务器成为热点?

1 个答案:

答案 0 :(得分:6)

延迟空间分配意味着文件系统在写入之前实际上不会提供文件空间。它们通常被称为sparse files。例如,如果仅使用64MB块文件的前2MB,则实际上只会在磁盘上使用2MB。

错开应用程序启动时间只意味着它们不会立即启动所有内容。如果每个应用程序在启动时都需要读取存储在GFS中的一些配置文件,如果它们 all 同时启动,则会出现加载问题。扩展启动时间可以缓解这种情况。