将big csv文件导入mySql

时间:2015-11-26 18:14:00

标签: mysql csv

我正在尝试将300 mg csv文件导入mySql表。我正在使用这个命令:

LOAD DATA INFILE 'c:/csv/bigCSV.csv' IGNORE 
INTO TABLE table
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES

它适用于小文件(1毫克等),但是当我尝试加载像上面提到的大文件时,MySql Workbench(我用它来执行我的查询)运行命令,一切正常,绿色,但0行受影响。表中没有任何变化。

我10000%确定该表是可以的,因为当我拿走该文件的一部分时,例如1mg并将其加载到同一个表中,它可以正常工作。

有没有人遇到过这种问题?

谢谢。

2 个答案:

答案 0 :(得分:7)

我已经“解决”了它。不知道为什么,我觉得因为没有参与之前的声明而感到愚蠢,但是这样:

LOAD DATA INFILE 'c:/csv/eventsbig.csv' IGNORE 
INTO TABLE std9
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n'

最后没有“IGNORE 1 LINES”,它适用于任何大小的文件。

答案 1 :(得分:0)

LOAD DATA LOW_PRIORITY LOCAL INFILE 'C:\\Learning\\App6_DBconnection\\CC.csv' 
INTO TABLE `test`.`ccd` 
CHARACTER SET armscii8 
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '"' LINES TERMINATED BY '\r\n' 
IGNORE 1 LINES (`Cd_Type`, `Full_Name`, `Billing_Date`);

这甚至适用于超过150万条记录的大型数据集。