导入包含很多空格字符的CSV文件时,MySQL服务器崩溃

时间:2019-02-07 20:58:46

标签: mysql mariadb

我需要将大约1TB的csv文件导入到MariaDB MySQL数据库中,但是服务器在导入某些文件时不再响应。有谁知道我该怎么做才能避免这些崩溃?

mysql服务器托管在Windows 10 64bit上,mariadb版本为10.1.31。 这是我运行的查询:

LOAD DATA LOCAL INFILE 
'x:/Storage/DBP/$file'
IGNORE
INTO TABLE `$dataTableName`
LINES TERMINATED BY "\n"
(@ff)
SET 
`email` = REGEXP_SUBSTR(@ff, "^[^;:,]*"),
`content` = REGEXP_SUBSTR(@ff, "[^;:,]+$"); 

我分析了导致服务器崩溃的文件,得出的结论是太多的空格字符(约1.5 MB的空格字符)会导致服务器崩溃。我还分析了mariadb日志,但崩溃时不会导致任何日志。有问题的文件也相似且与其他文件相同,大小相同(300MB-10GB)。

0 个答案:

没有答案