如何构建Terabyte队列？

Question

如何在内存中构建/设计/编程Terabyte或Petabyte队列？ （想象一下像大量用户那样的推特服务。）

Answer 1

为什么不使用twitter的排队服务？它被称为kestrel，它是开源的。

Answer 2

它将在很大程度上依赖于您正在使用的文件系统以及队列中存储的元素。队列的元素需要以某种方式寻址。也许是文件名，磁盘块地址或......某事。您将需要将这些元素的地址存储在队列中。根据您使用的元素数量，您甚至可能需要进一步细分并将队列划分为块，其中整个元素块被视为队列中的一个元素，并且每个块都按其自身组织子队列。