AWS DMS持续将交易数据复制到数据仓库

时间:2018-10-27 12:13:16

标签: mysql postgresql amazon-web-services aws-dms

我希望有人能告诉我我是否绝对疯了,然后再走这条路。我有一个以MySQL为后端的应用程序。我需要创建更可靠的报告,并选择在pgsql中建立数据仓库。挑战在于我不希望DW每天更新一次或两次。我希望它接近实时(预计会有一些滞后,这不是问题)。

我研究了AWS胶水和其他一些选项,最后选择了DMS,作为将数据从MySQL源复制到pgsql目标数据库进行暂存的一种方法。然后,我设置触发器函数,该函数将基本操作pgsql db中插入/更新的数据,并将其放入数据仓库中。该应用程序还连接到DW,并可以根据需要从DW中提取报告和仪表板指标。

我已经建立了概念证明,并且似乎可以使用,但实际上这只是我现在打的应用程序,因此,我不确定如果继续执行此想法并将其付诸实践,它是否会成立它在生产中。

我目前有一个dms.t2.small复制实例(引擎版本2.4.4),其CPU利用率约为15-20%。我目前没有为多可用区配置它。

我看到合并的CDCLatencyTarget / CDCLatencySource值平均约为9秒。我认为,即使时间越短越好,但如果确实如此,那将不会让人难以忍受。我想说,如果一分钟后起床,我们可能会开始看到抱怨。

我知道DMS更适合用于迁移,所以我想知道我是否只是以一种非常愚蠢的方式进行此操作,或者这或多或少是有效的用例?我不知道DMS是否存在问题,这会使我以后对此决定感到后悔?

此外,我也很喜欢您关于如何设置保障措施以确保源和目标保持同步的建议,或者如果我没有意识到这些建议,或者可以这样做的话,自我修复。

enter image description here

0 个答案:

没有答案