Question

首先，我想为我可怜的英语道歉。

我有一段代码使用gem PaperClip 3.3.1上传到文件的服务器文件夹。在我尝试上传包含50张照片的文件夹之前，每件事看起来都很少的照片（最多30张）。然后我收到以下错误消息：

Errno::EMFILE (Too many open files - identify -format %m '/tmp/4209520130906-10816-1kk0w0o.jpg[0]'):

我在我的系统中检查ulimit -a，在我的环境中我可以同时打开1200个文件。那么我跑了commad：

watch -n1 'lsof -a -p <rails server pid> | wc -l'

随着每次迭代，打开的文件数量都在增加

110 - starting count
160 - after first iteration (number from folder)
240 - second iteration
320
376
457
...
1118 - of about 32 iteration
crash ~ :)

我发现问题是由proc引起的，它将image_path添加到数据库并在需要特殊格式时调整大小（在html输入解析期间）

因此，在调试器我拼命地跑下commad检查什么文件红宝石成立。

ObjectSpace.each_object(File){ |f| puts f.path }

我发现有50个文件上传了名称，包括'RackMultipart'，并且在迭代后tmp文件夹中的文件数被新文件记入了奇怪的名字（可能是paperclip临时文件）。我认为peperclip或一些应用程序代码没有关闭文件所以在proc的最后我添加了以下代码：

        now = Time.now.to_formatted_s( :number )[0..7]
        ObjectSpace.each_object(File).map do |f|
          if f.path.include?( "/tmp/" ) && !f.closed?
            unless f.path.include? "RackMultipart#{now}"
              f.close
              f = nil
            end
          end
        end

之后没有发生任何事情。在调试器中我运行了命令

ObjectSpace.each_object(File){ |f| puts ( f.closed? '+' : '-' ) }

打开的文件数（ - ）是正确的（~160），但命令仍然列出文件已关闭。它关闭后不应该消失吗？

截断方法看起来像吼叫：

def function(g, files)

    ...

    asset = proc do |img|
      ...
      file = files.find{|f| f.original_filename == src}
      if file

        geo = Paperclip::Geometry.from_file file.path

        if(geo.width <= 20 && geo.height <= 20)
          ...
        else
          asset = figure.assets.build
          asset.file = file ## HERE RUNS
          ...
        end

        now = Time.now.to_formatted_s( :number )[0..7]
        ObjectSpace.each_object(File).map do |f|
          if f.path.include?( "/tmp/" ) && !f.closed?
            unless f.path.include? "RackMultipart#{now}"
              f.close
              f = nil
            end
          end
        end
      else
        ...
      end
    end

    ...

      while img = g.find_first(".//img")
        asset.call(img) # !HERE HAPPENS
        img.remove!
      end

 end # end function

资产模型定义：

class Asset < ActiveRecord::Base
  ...

  has_attached_file :file, url: "/system/:class/:attachment/:id/:style_:filename",
                    styles: lambda { |attachment| attachment.instance.switch_styles },
                    :convert_options => {medium: lambda{|asset| asset.is_table? ? "-units PixelsPerInch -resample 120 -strip" : "-strip"}, 
                                            all: '-strip'}




  validates_attachment :file, content_type: { content_type: ["image/jpg","image/png","image/gif","image/jpeg","image/tiff"] },
                       size: { in: 0..10.megabytes }

  def is_table?
    ...
  end

  def switch_styles
    self.file.content_type == "image/tiff" ?
    { backup: "100%", original: ["100%", :png], medium: [self.is_table? ? "" : "800x600>", :png], small: ["300x300>", :png], formula: ['50%', :png] } :
    { medium: self.is_table? ? "" : "800x600>", small: "300x300>", formula: '50%' }
  end

end

我希望你能理解我所写的内容;）

先谢谢你的帮助。

Answer 1

确定。这个代码没什么问题，一切正常。但有时某人在父父类中禁用了GarbageColector。可能是为了加快解析过程。所以现在当文件数量超过ulimit的70％时，我打开GC，如果它清除了不必要的临时文件，我再次关闭它。

编辑：运行然后再次禁用GC

的功能

  def gc_check
    if ObjectSpace.each_object(File).to_a.size > 850  
      GC.start if GC.enable
    else
      GC.disable
    end
  end

希望这会对你有所帮助。

Rails paperclip上传图片文件夹 - Errno :: EMFILE

1 个答案: