从MySQL bin日志并行处理

时间:2016-07-12 10:09:05

标签: mysql database mysqlbinlog

我们正在进行从日志到其他dbs的bin日志流。

我们面临的问题是事件序列,我们无法进行并行处理,即bin日志中写入的事件按时间排序,我们不能轻易地在下游数据库中插入并行插入并插入单个由于下游数据库是一个柱状数据库,因此连接速度很慢。

无论如何,我们可以通过以下方式阅读事件:我们可以有效地并行化二级数据库中的持久性。

1 个答案:

答案 0 :(得分:0)

由于binlog包含事件流而不是当时的数据快照,所以我们不能通过并行事件处理来解决状态。

如果您确定,您的表彼此之间没有依赖关系,那么运行N(假设您有N个表)binlog处理器与每个表名上的过滤条件并行。

另一种方法是将多个依赖表分组,并具有过滤条件,以便在单个binlog进程上处理特定的表集。你可以拥有尽可能多的套装。