如何使用delayed_job gem上传大数据CSV文件

Question

@csv_import = CSVImport.new(params[:catalog_import])

当我使用大量数据上传csv时，我收到TIMEOUT错误。

我如何解决这个问题。

Answer 1

结帐smarter_csv

它可以批量处理大文件。

以下是他们使用Resque和chuck尺寸的文档的示例：

filename = '/tmp/some_file.csv'
options = { :chunk_size => 100 }
n = SmarterCSV.process(filename, options) do |chunk|
    Resque.enque( ResqueWorkerClass, chunk ) # pass chunks of CSV-data to Resque workers for parallel processing
end
=> returns number of chunks