Question

我想在我的数据库中插入大约数百万条记录，但速度非常慢，速度约为40,000条记录/小时，我不认为我的硬件速度太慢，因为我看到磁盘的速度低于2 MiB / s。我有很多表分隔在不同的.sql文件中。一条记录也非常简单，一条记录少于15列，一列少于30个字符。我使用mysql 5.3在archlinux下完成了这项工作。你们有什么想法吗？或者这个速度不慢？

Answer 1

这很可能是因为你要插入这样的记录：

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");

每次需要INSERT时发送新查询都很糟糕。而是简单地将所有这些查询组合成一个单独的查询，如下所示。

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2");

您还可以在MySQL Docs中阅读有关插入速度的更多信息。它清楚地描述了以下内容。

要优化插入速度，请将许多小操作合并为一个大型操作。理想情况下，您进行单个连接，一次发送许多新行的数据，并将所有索引更新和一致性检查延迟到最后。

当然，如果金额巨大，请不要将所有这些组合在一起。假设您需要插入1000行，然后不要一次执行一行。但是你可能不应该同时尝试在一个查询中拥有所有1000行。而是将其分解为更小的尺寸。

如果它仍然很慢，那可能只是因为你的服务器很慢。

请注意，您当然不需要组合查询中的所有空格，只是为了更好地了解答案。

mysql如何更快地插入数百万条记录？

1 个答案: