Question

我正在尝试创建一个包含大约64000个对象的大型数组。对象是截断的SHA256文件摘要。

这些文件位于256个子目录（名为00 - ff）中，每个子目录包含大约256个文件（每个文件略有不同）。每个文件大小在1.5KB到2KB之间。

代码如下所示：

require 'digest'
require 'cfpropertylist'

A = Array.new

Dir.glob('files/**') do |dir|
    puts "Processing dir #{dir}"
    Dir.glob("#{dir}/*.bin") do |file|
        sha256 = Digest::SHA256.file file
        A.push(CFPropertyList::Blob.new(sha256.digest[0..7]))
    end
end

plist = A.to_plist({:plist_format => CFPropertyList::List::FORMAT_XML, :formatted => true})

File.write('hashes.plist', plist)

如果我处理16个目录（在上面用'files / 0 *'替换'files / **'），我机器上的时间是0m0.340s。

但如果我尝试处理所有这些，处理完约34个目录后处理速度会急剧下降。

这是最新的OS X，使用股票红宝石。该机型是2011年中期的iMac，配备12GB内存和3.4 GHz Intel Core i7。

限制因素似乎不是数组大小：因为如果我删除sha256处理而只是存储文件名，则不会减速。

有什么我可以做得更好或跟踪问题吗？我目前没有其他操作系统或机器来测试这是OS X还是机器特定的东西。

Answer 1

这是磁盘/ FS缓存问题。在运行脚本完成后，再次重新运行，减速大多消失了。另外使用另一台带SSD的电脑也没有显示出减速。

在Ruby中处理大量文件时减速

1 个答案: