Question

我有一个非常大的csv文件，我需要读取，解析，然后向用户显示数据，以便他们可以调整/验证事情看起来是否正确。

该过程在本地工作，但是当部署到Heroku时，我遇到Request Timeout错误，因为解析时间太长。

2017-07-27T13:47:25.399387+00:00 heroku[router]: at=error code=H12 desc="Request timeout"

我知道我应该使用像Resque这样的东西，并且我已经将它用于电子邮件，但是我不知道如何使用它，如果我需要对返回的对象进行额外的处理。

有人可以提供一个如何从Resque作业中访问返回对象的示例吗？

这是我的代码，第一个函数在控制器中，它调用一个模型函数，然后在模型函数完成解析后重定向（这是一个需要很长时间的过程）。

def check_upload_file
    @response = WeighIn.check_file(params[:file], params[:location])
    @final = {}
    @file = params[:file]
    @client_names = []

    @final[:success] = @response[:successful_entry]
    @final[:name_fail] = @response[:name_error]
    @final[:weigh_fail] = @response[:weigh_in_error]
    @final[:location_id] = @response[:location_id]

    # Need to mess with this to use 'include' and see if speed improves
    @clients = Client.all.order("name ASC").select(:name)
    @clients.each { |c| @client_names << c.name unless c.name.nil? }

    render 'weigh_ins/preview'
end

def self.check_file(file, location_id)

    status = {
        name_error: [],
        weigh_in_error: [],
        successful_entry: [],
        location_id: location_id
    }

    status[:file] = file.original_filename
    options = {:key_mapping => @new_hash, :strings_as_keys => true, :keep_original_headers => true, :remove_unmapped_keys => true}

    SmarterCSV.process(file.path, options) do |row|
        hashed_row = row[0]
        hashed_row[:unique_mb] = ( location_id.to_s + hashed_row[:scale_id].to_s ).to_i
        hashed_row[:unique_scale] = ( location_id.to_s + hashed_row[:scale_id].to_s ).to_i

        # Escape missing scale ids
        next if hashed_row[:scale_id].nil?

        client = Client.find_by(unique_scale: hashed_row[:unique_scale]) || Client.find_by(unique_mb: hashed_row[:unique_mb])
        hashed_row = hashed_row.except!(:unique_mb)

        # Handle missing client
        if client.nil?
            status[:name_error] << hashed_row
            next
        end

        check_ins_with_no_weigh_ins = client.check_ins.with_no_weigh_ins
        hashed_row[:client_id] = client.id

        if check_ins_with_no_weigh_ins.length != 1
            hashed_row[:empty_check_ins] = check_ins_with_no_weigh_ins.length
            hashed_row[:check_ins] = client.check_ins.length
            status[:weigh_in_error] << hashed_row   
        else
            hashed_row[:check_in_id] = check_ins_with_no_weigh_ins.first.id
            status[:successful_entry] << hashed_row
        end

    end

    return status
end

Answer 1

我会按以下方式进行：

将文件上传到s3（使用Carrierwave或其他），并将路径存储在类似队列的表或Redis中，状态为“pending”
异步处理暂挂的内容（使用Resque或简单的cron作业）并将结果再次保存到s3（并将状态更新为“已处理”）。
向用户显示准备好后处理的内容，您可能需要websockets。

或者，你可以挖掘Heroku配置，看看你是否可以在Timeout之前调整持续时间。我不会推荐它。

Rails 4：解析大型csv文件

1 个答案: