处理大型csv文件

Question

我有一个大型CSV文件，其中有大量数据超过75000条记录。我需要从我的rails应用程序将其插入到mysql数据库中。使用Sidekiq（https://github.com/mperham/sidekiq）进行后台处理也需要花费大量时间。 有没有更好的方法来处理数据？

由于

Answer 1

你可以在不使用rails的情况下直接在mysql上完成。这样会更快。有关详细信息，请查看此SO question

Answer 2

使用MySql功能：

LOAD DATA INFILE 'data.txt' INTO TABLE tbl_name
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES;