导入两个较小的文件时,Mysqlimport非常慢

时间:2015-09-16 16:23:45

标签: mysql bigdata large-files mysqlimport

我正在尝试导入一个大文件,它真的很大,似乎没有工作,所以我把它分成了碎片。第一件需要2分钟,第二件需要近一个小时!怎么会??? ???

bash-3.2$ wc -l allelePiecesaa 
2575063 allelePiecesaa
bash-3.2$ cp allelePiecesaa allele.txt
bash-3.2$ time /usr/bin/mysqlimport -h bluemoon-mgmt1a -u jbond --delete --local --fields_escaped_by=\\ MBSR -L allele.txt
MBSR.allele: Records: 2575064  Deleted: 0  Skipped: 0  Warnings: 6
real    1m50.285s
user    0m0.006s
sys     0m0.103s
bash-3.2$ cp allelePiecesab allele.txt 
bash-3.2$ wc -l allele.txt 
2545972 allele.txt
bash-3.2$ time /usr/bin/mysqlimport -h bluemoon-mgmt1a -u jbond --local --fields_escaped_by=\\ MBSR -L allele.txt
MBSR.allele: Records: 2545973  Deleted: 0  Skipped: 0  Warnings: 7
real    57m17.279s
user    0m0.030s
sys     0m0.097s

我的配置是:

[client]
user=X
host=Y
password=Z
port=3306

[mysqld]
init_connect='SET autocommit=0'
init_connect='SET foreign_key_checks = 0'
init_connect='SET unique_checks = 0'
log_slow_queries = 0

任何帮助表示赞赏。谢谢, 拉米罗

1 个答案:

答案 0 :(得分:0)

第二个文件没有任何问题。

导入第二个文件需要更多时间,因为第一个文件查询或某个查询尚待完成。

要检查第二个文件,您可以重新启动mysql并再次尝试导入。它应该花费更少的时间。