内存使用/足迹潜在问题

时间:2013-04-29 19:17:05

标签: perl

因此,我需要存储大约8 GB的信息来迭代/用于计算;但是,我不需要修改任何一个。我可以在我的perl脚本中执行此操作,还是会耗尽内存(我有8 GB的RAM)。如果没有,我可以将信息存储在文件中吗?我是否需要将所有内容都放在数据库中(注意:我没有数据库经验,并且现在想要避免使用它们,除非我绝对不能以其他任何方式执行此操作)?对于每个计算,我将需要迭代大约1 GB的“句子”的子集。对于每个“句子”,我需要得出一个数量,然后比较所有这些数量,得到最高的X%。

提前致谢。

编辑:没有人会使用这些数据。只有一个程序需要访问数据。安全不是问题,但速度是。我将使用分叉或线程进行并行化。我可以使用Windows或Linux。

1 个答案:

答案 0 :(得分:1)

这听起来像是Tie::File的一个很好的应用程序,它允许将文件用作数组。

根据文件:

  

该文件未加载到内存中,因此即使对于巨大的文件也是如此。