如何在标准PC上管理大树？

Question

1. 给定一个根节点，该节点应该开始生成一个大约10个 ¹⁰ （ab.2 ³⁴ ）节点的树，是否适合使用内存映射文件哪一次会包含整棵树？
2. 可能出现哪些与操作系统相关的问题（文件I / O，大文件支持）？
3. C，gcc和glibc有一些隐式限制（指针）吗？
4. Linux是否存在大文件的任何问题/限制？

Answer 1

正如yi_H在他的评论中提到的，你需要一个64位操作系统和一个支持大文件的文件系统。假设每个节点包含大约2 ^ 5 = 32字节的数据，则2 ^ 40个节点将产生2 ^ 45字节= 32太字节。现在假设您没有在现代军用战斗机上运行，​​您需要将大部分数据映射到硬盘。

一旦数据在您的磁盘上并且文件系统配置正确，我认为不存在任何系统限制的问题。然而，读/写速度肯定是个问题。如果硬盘驱动器的平均IO速度为100 mb / s，则只需要4-5天即可遍历整棵树。

最好将数据分成多台计算机并并行化您的操作。