MySQL中大规模插入的策略

时间:2016-12-06 13:09:14

标签: mysql architecture redis

我的应用会消耗来自多个API的数据。此数据可以是单个事件,也可以是一批事件。我正在处理的数据是点击流,我的应用程序每分钟运行一次cron作业,以便使用他们的API与我们的合作伙伴一起获取数据,并最终将所有内容保存到MySQL进行详细分析。我正在寻找在某处缓冲这些数据的方法,然后批量插入MySQL。 例如,假设我通过一次API调用收到一批1000次点击事件,我可以使用哪些数据结构在Redis中缓冲它,然后最终有一个工作进程来使用这些数据并插入MySQL。 一种简单的方法就是获取数据并将其存储到MySQL中。但由于我正在处理广告技术,数据的大小和速度总是会发生变化,这似乎不是一种开始的方法。 哦,应用程序将建立在Spring Boot和Tomcat之上。

非常感谢任何帮助/讨论。谢谢!

0 个答案:

没有答案