Question

我在Heroku服务器上上传文件时遇到问题。（还有一个提示用轨道做这种类型的东西的正确方法将非常感激 - 我在RoR中是非常新的。）

所有这些代码都是关于上传一些CSV文件，然后允许用户调整几个设置，然后解析文件。这通常适用于localhost（有几次我会遇到存储在会话中的值的麻烦），但是在Heroku上它总是在上传时死掉。

在其中一个邻居问题中写道Heroku存储文件只在单个实例运行期间，但我仍然在Heroku的文档中找不到任何关于此的内容。我应该在上传后立即将文件数据存储在数据库中，所以在这种情况下它总是可用吗？缺点 - 文件可能很大，大约10-20Mb，看起来不太好。

Heroku日志说：

 2012-05-21T19:27:20+00:00 app[web.1]: Started POST "/products/upload" for 46.119
.175.140 at 2012-05-21 19:27:20 +0000
2012-05-21T19:27:20+00:00 app[web.1]:   Processing by ProductsController#upload
as HTML
2012-05-21T19:27:20+00:00 app[web.1]:   Parameters: {"utf8"=>"тЬУ", "authenticit
y_token"=>"aqJFg3aqENfxS2lKCE4o4txxkZTJgPx36SZ7r3nyZBw=", "upload"=>{"my_file"=>
#<ActionDispatch::Http::UploadedFile:0x000000053af020 @original_filename="marina
-AutoPalmaPriceList_2011-07-30.txt", @content_type="text/plain", @headers="Conte
nt-Disposition: form-data; name=\"upload[my_file]\"; filename=\"marina-AutoPalma
PriceList_2011-07-30.txt\"\r\nContent-Type: text/plain\r\n", @tempfile=#<File:/t
mp/RackMultipart20120521-1-10g8xmx>>}, "commit"=>"Upload"}
2012-05-21T19:27:20+00:00 app[web.1]:
2012-05-21T19:27:20+00:00 app[web.1]: LoadError (no such file to load -- CSV):
2012-05-21T19:27:20+00:00 app[web.1]:   app/controllers/products_controller.rb:8
2:in `upload'
2012-05-21T19:27:20+00:00 app[web.1]:
2012-05-21T19:27:20+00:00 app[web.1]:
2012-05-21T19:27:20+00:00 app[web.1]: cache: [POST /products/upload] invalidate,
 pass

代码本身：

的ProductsController：

def import
  respond_to do |format|
    format.html
  end
end

def import_adjust
  case params[:commit]
    when "Adjust"
      @col_default = params[:col_data]
      #abort @col_default.to_yaml
      #update csv reader with form data, restore filters  from params
    when "Complete"
      #all ok, read the whole file
      #abort params.to_yaml
      redirect_to import_complete
    else
      @col_default = nil
  end
  #read first part of the file
  @tmp = session[:import_file]
  @csv = []
  source = CSV.open @tmp, {col_sep: ";"}

  5.times do
    line = source.readline
    if line.size>0
      @line_size = line.size
      @csv.push line
    end
  end

  #generate a selection array
  #selection = select_tag 'col_data[]', options_for_select([['name','name'], ['brand','brand'], ['delivery_time','delivery_time'], ['price','price']])
  #@csv = [selection * line_size] + @csv
end

def import_complete
  #remove all items
  #todo check products with line items will not be destroyed.
  Product.destroy_all
  #abort params.to_yaml
  map = {}
  cnt = 0
  #todo check for params count.
  params[:col_data].each do |val|
    map[cnt] = val if val != 'ignore'
    cnt += 1
  end

  source = CSV.open session[:import_file], {col_sep: ';'}
  source.each do |row|
    cnt += 1
    if row.size > 0
      item = Product.new
      map.each do |col, attr|
        item[attr] = row[col]
      end
      item[:provider_id] = params[:adjust][:provider]
      item.save
      #abort item.to_yaml
    end
  end

  #abort map.to_yaml
  #todo response needed.
end

def upload
  require 'CSV' #looks like I dont need this in fact.
  @tmp = params[:upload][:my_file].path #tempfile

  @csv = []
  #source = CSV.open @tmp, {col_sep: ";"}

  session[:import_file] = params[:upload][:my_file].path

  respond_to do |format|
    format.html { redirect_to action: 'import_adjust' }
  end
end

upload.html.erb：

<h1>Uploaded</h1>
<%= @tmp %>

<% @csv.each do |val| %>
    <%= val %>
<% end %>

_form_import.html.erb：

<%= form_for :upload, :html => {:multipart => true}, :url => {action: "upload"} do |f| %>
<%= f.file_field :my_file %>
<%= f.submit "Upload" %>
<% end %>

import_adjust.html.erb：

<h1>New product</h1>


<%= form_for :adjust, :url => {action: "import_adjust"} do |f| %>
<% if @csv %>
<table>
  <tr>
    <% @line_size.times do |cnt| %>
        <td>
        <%= select_tag 'col_data[]',
               options_for_select([
                  ['--ignore--', 'ignore'],
                  ['name','name'],
                  ['brand','brand'],
                  ['delivery_time','delivery_time'],
                  ['price','price']
        ], @col_default!=nil ? @col_default[cnt] : nil) %>
        </td>
    <% end %>
  </tr>

  <% @csv.each do |val| %>
     <tr>
     <% val.each do |cell| %>
       <td>
         <%= cell %>
       </td>
     <% end %>
     </tr>
  <% end %>
</table>
<% end %>


  <%= f.label :delimiter, 'Разделитель' %>
  <%= f.text_field :delimiter %>
  <br>
  <%= f.label :provider, 'Поставщик' %>
  <%#todo default empty option needed! Human mistakes warning! %>
  <%= f.select :provider, Provider.all.collect { |item| [item.name, item.id] } %>
  <br>
  <%= f.label :delimiter, 'Разделитель' %>
  <%= f.text_field :delimiter %>
  <br>
  <%# Adjust for proceed adjusting or Complete  for parsing %>
  <%= f.submit "Adjust" %>
  <%= f.submit "Complete" %>
<% end %>


<%= link_to 'Back', products_path %>

Answer 1

你能粘贴整个控制器代码吗？这个问题出现在＃82行，但如果你已经剥离了类def和before_filters，那么我无法100％自信。

也就是说，看起来问题出在CSV.open行之一上。您尝试设置session[:import_file]的方式无法保证正常工作。如果您曾经在多个dyno上运行该应用程序，您可以通过web.1 dyno提供第一个请求，第二个请求由web.2提供，并且它们具有不同的文件系统，并且无法看到相同的临时文件

我建议使用以下方法之一：

在上传时立即进行所有处理，避免重新定向。
对此的改进是让上传将数据存储在共享和可访问的地方（数据库或S3），并启动后台作业/流程来进行处理。
最重要的是直接上传到S3（我相信S3 Uploader库可以做到这一点，可能有其他人）并发出回调来创建后台作业来处理。

最后一个选项意味着您的网络dynos永远无法处理大量上传，并且您不会在等待上传到服务器 - >存储在S3-＆gt;计划后台工作中所涉及的延迟时给用户带来负担，从他们的角度来看，它简单地简化为存储在S3 中。

Answer 2

我有一个与Lifecoder相同的场景，用户上传文件，使用map_fields插件（Andrew Timberlake）命名列，然后解析和处理文件。以下是我处理它的方法：

  file_field = params[options[:file_field]]
  map_fields_file_name = "map_fields_#{Time.now.to_i}_#{$$}"

  bucket = S3.buckets[CSV_COUPON_BUCKET_NAME]    # gets an existing bucket
  obj = bucket.objects[map_fields_file_name]
  obj.write( file_field.read )

  # Save the name and bucket to retrieve on second pass
  session[:map_fields][:bucket_name] = map_fields_file_name

然后在第二次传递处理文件时，我打开文件并将其读回temp，以便dyno处理：

    # Get CSV data out of bucket and stick it back into temp, so we pick up where
    # we left off as far as map_fields is concerned.
    bucket = S3.buckets[CSV_COUPON_BUCKET_NAME]
    obj = bucket.objects[session[:map_fields][:bucket_name]]
    temp_path = File.join(Dir::tmpdir, "map_fields_#{Time.now.to_i}_#{$$}")
    File.open(temp_path, 'wb') do |f|
      f.write obj.read
    end

我不得不使用插件，所以我可以修改代码，因为很明显宝石是由Heroku处理的，不允许修改。

Rails文件上传和Heroku

2 个答案: