我必须在数据库中插入大量(1m +行)数据(来自csv格式的txt文件),我使用php来做到这一点,因为它位于Web主机上,我发现php最容易在服务器端使用。
数据每小时都会更新一次,因此我必须每小时更新一次数据库。目前,我正在逐行读取文件行,并将每行分别插入数据库中,我尝试了批量插入,但是由于行太多,我的内存已经用完了。
我目前的情况是我的虚拟主机向我发出了警告,提示我要运行许多sql插入操作,因此我无法继续使用cronjobs逐行插入数据行。有更有效的方法吗?我应该只移动虚拟主机还是获得vps?
谢谢!