MySQL导入大型CSV

Question

我有一个大的CSV文件，我正尝试导入到MySQL中（大约45GB，大约1.5亿行，大多数列很小，但其中一个具有可变长度的文本，最大可以达到KB大小）。我正在使用LOAD DATA LOCAL INFILE尝试导入它，但是服务器在完成之前总是使我的连接超时。我尝试修改全局连接超时变量来解决此问题，但是它已经有几个小时才超时。是否有另一种方法可以导入这么大的数据库，或者我用这种方法做错了什么？

console.log(logic.houses[0].shouldAccess__Local(logic));

我正在Windows 10上使用MySQL命令行执行此命令。我的MySQL版本是8.0。

Answer 1

我过去处理此问题的方式是编写一个php脚本，该脚本读取文件并将输出的前50％输出到新文件中，然后删除这些行。然后执行两个加载数据文件，一个用于原始文件，一个用于新文件。