Java:有没有磁盘和内存一样快的情况?

时间:2013-03-19 17:59:38

标签: java io bigdata

我正在编写一些代码来访问inverted index。 我有两个可互换的类,它们对索引执行读操作。一个从磁盘读取索引,缓冲其中的一部分。另一个将索引完全加载到内存中,作为byte [] [](索引大小约为7Gb)并从此多维数组中读取。 人们期望在将整个数据存储在内存中时具有更好的性能。但我的措施表明,使用磁盘上的索引,它与内存中的索引一样快。 (在内存中加载索引所花费的时间不计入表演中)

为什么会这样?有什么想法吗?

更多信息:我已经运行了启用HPROF的代码。两者都在“磁盘上”或“在内存中”工作,最常用的代码不是与读取直接相关的代码。此外,对于我(有限)的理解,gc探查器不会显示任何与gc相关的问题。

UPDATE#1 :我已经检测了我的代码来监控I / O次数。似乎大多数内存搜索需要0-2000ns,而磁盘上的大部分搜索需要1000-3000ns。第二个指标对我来说似乎有点太低了。它是由于Linux的磁盘缓存吗?有没有办法排除磁盘缓存以进行基准测试?

UPDATE#2 :我已经绘制了每个索引请求的响应时间。内存和磁盘的行几乎完全匹配。我已经使用O_DIRECT标志进行了一些其他测试来打开文件(感谢JNA!),在这种情况下,代码的磁盘版本(显然)比内存慢。所以,我的结论是“问题”是因为积极的Linux磁盘缓存,这是非常了不起的。

更新#3 http://www.nicecode.eu/java-streams-for-direct-io/

2 个答案:

答案 0 :(得分:5)

我头顶的三种可能性:

  • 操作系统已经通过其文件系统缓存将所有索引文件保存在内存中。 (我还是期待一个开销,请注意。)
  • 索引不是您正在测试的代码的瓶颈。
  • 您的基准测试方法不太对。 (做好基准测试可能非常困难。)

中间选项似乎对我最有可能。

答案 1 :(得分:2)

不,磁盘永远不会像RAM一样快(RAM实际上是磁盘速度快100,000倍)。很可能操作系统会将您的文件映射到内存中。