将1000多条记录写入数据库表的最有效方法

Question

我们的产品需要在我们公司的员工批准后将1000多条记录写入数据库表。一次写入这些记录的传统方式可能是循环或MySQL批量插入到表中。

除此之外，我还有几个表由CRON作业检查，并一次更新另一个表有2000条记录。

我很想知道我是否应该继续使用MySQL批量插入（这会影响性能）还是使用像Kafka这样的事件处理工具？

很想知道您的反馈意见。

提前谢谢。

Answer 1

我感觉到一种技巧可以比LOAD DATA加快速度，这可能是最快的......

“一旦被......批准” - 这是否意味着您将数据放在某处，并且您想要“按下按钮”将它们添加到特定的表中？如果是这样，......

将它们预加载到另一个表中。然后准备好运行此查询：

INSERT INTO real_table
    SELECT * FROM pending_table;

但......列是否排列正确？可以有双键吗？如果是这样，你需要更新一些东西吗？见IODKU。等

我建议你在白天到来之前测试一下这个过程。如果它失败可能会令人尴尬。