我想拖尾mongo oplog并通过Kafka将其流式传输。但是有许多数据库和集合,我只想获取其中之一的更新数据。如果要从oplog中的所有操作记录中过滤出所需的操作记录,可能会影响性能。因此,我想寻求更好的解决方案。请给我一些建议。
答案 0 :(得分:0)
尚不清楚您使用的是什么工具,但Debezium支持这些工具来应用过滤器
database.whitelist
collection.whitelist
由于您已经在阅读完整的操作日志,因此也不清楚是什么会影响性能,但是执行过滤器(意味着删除所有不符合条件的记录)应该不会产生重大影响,因为布尔/正则表达式检查通常会完成很快