mysql如何更快地插入数百万条记录?

时间:2013-10-30 12:35:20

标签: mysql insert records

我想在我的数据库中插入大约数百万条记录,但速度非常慢,速度约为40,000条记录/小时,我不认为我的硬件速度太慢,因为我看到磁盘的速度低于2 MiB / s。我有很多表分隔在不同的.sql文件中。一条记录也非常简单,一条记录少于15列,一列少于30个字符。我使用mysql 5.3在archlinux下完成了这项工作。你们有什么想法吗?或者这个速度不慢?

1 个答案:

答案 0 :(得分:35)

这很可能是因为你要插入这样的记录:

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");

每次需要INSERT时发送新查询都很糟糕。而是简单地将所有这些查询组合成一个单独的查询,如下所示。

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2");

您还可以在MySQL Docs中阅读有关插入速度的更多信息。它清楚地描述了以下内容。

  

要优化插入速度,请将许多小操作合并为一个大型操作。理想情况下,您进行单个连接,一次发送许多新行的数据,并将所有索引更新和一致性检查延迟到最后。

当然,如果金额巨大,请不要将所有这些组合在一起。假设您需要插入1000行,然后不要一次执行一行。但是你可能不应该同时尝试在一个查询中拥有所有1000行。而是将其分解为更小的尺寸。

如果它仍然很慢,那可能只是因为你的服务器很慢。

请注意,您当然不需要组合查询中的所有空格,只是为了更好地了解答案。