我需要将大约1TB的csv文件导入到MariaDB MySQL数据库中,但是服务器在导入某些文件时不再响应。有谁知道我该怎么做才能避免这些崩溃?
mysql服务器托管在Windows 10 64bit上,mariadb版本为10.1.31。 这是我运行的查询:
LOAD DATA LOCAL INFILE
'x:/Storage/DBP/$file'
IGNORE
INTO TABLE `$dataTableName`
LINES TERMINATED BY "\n"
(@ff)
SET
`email` = REGEXP_SUBSTR(@ff, "^[^;:,]*"),
`content` = REGEXP_SUBSTR(@ff, "[^;:,]+$");
我分析了导致服务器崩溃的文件,得出的结论是太多的空格字符(约1.5 MB的空格字符)会导致服务器崩溃。我还分析了mariadb日志,但崩溃时不会导致任何日志。有问题的文件也相似且与其他文件相同,大小相同(300MB-10GB)。