我需要使用sqlite3和python执行大约2.5亿次插入。
我使用SELECT UNION包装了每500个插入,并且还完成了CREATE INDEX。
但即便如此,它后来变得缓慢,每小时执行的插入量不到100万次(每秒约300次插入)
有没有办法让它明显加快?
答案 0 :(得分:1)
这个article很好地解释了sqlite3中快速插入的问题。它附带了不同方法的基准。
答案 1 :(得分:0)
这是我读过的更好/最好的优化指南之一: How do I improve the performance of sqlite
我最近花了一些时间将大型数据集的初始加载优化为sqlite,其中的提示帮助很大。我建议你只是阅读一下,在我做c / p时没有意义。