Question

问题：

我有一个rails应用程序，需要用户上传某种类型的电子表格（csv，xslx，xsl等）进行处理，这可能是一项代价高昂的操作，因此我们决定将其作为解决方案发送给后台服务这个问题。我们关注的问题是，因为我们的生产系统是在Heroku上，我们需要先将文件存储在AS3上，然后再检索以进行处理。

因为将文件上传到AS3本身就是一项代价高昂的操作，所以这应该也可以作为后台工作来完成。问题是使用Resque执行此操作可能会占用大量RAM，因为Resque需要将文件数据放入Redis或以后检索。如您所知，Redis仅将其数据存储在RAM中，并且更喜欢简单的键值对，因此我们希望尝试避免这种情况。

下面是一些假代码作为我们想要尝试和做的例子：

工人/ AS3Uploader.rb

require 'fog'

class AS3Uploader
  @queue = :as3_uploader
  def self.perform(some, file, data)
    # create a connection
    connection = Fog::Storage.new({
      :provider                 => 'AWS',
      :aws_access_key_id        => APP_CONFIG['s3_key'],
      :aws_secret_access_key    => APP_CONFIG['s3_secret']
    })

    # First, a place to contain the glorious details
    directory = connection.directories.create(
      :key    => "catalog-#{Time.now.to_i}", # globally unique name
      :public => true
    )

    # list directories
    p connection.directories

    # upload that catalog
    file = directory.files.create(
      :key    => 'catalog.xml',
      :body   => File.open(blah), # not sure how to get file data here with out putting it into RAM first using Resque/Redis
      :public => true
  end

  # make a call to Enqueue the processing of the catalog
  Resque.enqueue(CatalogProcessor, some, parameters, here)
end

控制器/ catalog_upload_controller.rb

def create
  # process params

  # call Enqueue to start the file processing
  # What do I do here? I could send all of the file data here right now
  # but like I said previously that means storing potentially 100s of MB into RAM
  Resque.enqueue(AS3Uploader, some, parameters, here)
end

Answer 1

我建议你做的方式是

将您的文件存储在您创建的tmp目录中并获取file-path
告诉Resque使用file-path
让Resque将file-path存储在redis而不是整个file-content（这将非常昂贵）
现在，工作人员会将文件上传到AWS- S3

注意：如果您有多个实例，例如一个实例用于后台处理，一个用于数据库，一个用作实用程序实例，那么您的tmp目录可能无法用于其他实例..因此将文件存储在temp目录中在持有resque
的实例中

Rails：使用雾和resque上传文件到AS3

1 个答案: