AWS RDS慢插入

时间:2014-09-05 19:41:17

标签: mysql amazon-web-services bulkinsert

我有一个关于在RDS中插入行的问题。 我在该示例中插入301119条记录在1个表中。

我在这里登录那些插入批处理:

Amazon : 

2014-09-05 12:12:47,245 - Processing 30119 users 
2014-09-05 12:15:01,508 - 5000 users updated in transaction 
2014-09-05 12:17:29,672 - 10000 users updated in transaction 
2014-09-05 12:19:30,499 - 15000 users updated in transaction 
2014-09-05 12:21:38,866 - 20000 users updated in transaction 
2014-09-05 12:23:26,659 - 25000 users updated in transaction 
2014-09-05 12:25:16,727 - 30000 users updated in transaction 
2014-09-05 12:25:19,376 - 30119 users updated in transaction - DONE 
2014-09-05 12:25:19,379 - Process completed in **752134** ms 


Local : 

2014-09-05 12:33:20,767 - Processing 30119 users 
2014-09-05 12:33:39,692 - 5000 users updated in transaction 
2014-09-05 12:33:50,949 - 10000 users updated in transaction 
2014-09-05 12:33:59,476 - 15000 users updated in transaction 
2014-09-05 12:34:06,962 - 20000 users updated in transaction 
2014-09-05 12:34:14,874 - 25000 users updated in transaction 
2014-09-05 12:34:22,945 - 30000 users updated in transaction 
2014-09-05 12:34:23,111 - 30119 users updated in transaction - DONE 
2014-09-05 12:34:23,112 - Process completed in **62345** ms 

查询是一个简单的批量插入1表。

我的本​​地速度不是很快,而且结果非常奇怪......在AWS中运行相同的插入需要12倍...所以,有一些问题......这是配置问题还是其他?

一些指针非常受欢迎:):)

谢谢!

2 个答案:

答案 0 :(得分:6)

所以,我明白了!在搜索和调整配置后,我们大约每秒300次插入,我们禁用了innodb_flush_log_at_trx_commit(1 - > 0)和sync_binlog(1 - > 0),我们每秒上升到1500-2000次插入!! 因为如果数据库崩溃所以我们可以丢失最后一个事务/提交,所以我们一起去了,它现在快速闪耀!!

希望它可以帮助其他一些有同样问题的人!

答案 1 :(得分:0)