在SQL表和MongoDB集合之间比较数据-AWS Glue?

时间:2019-06-12 21:48:52

标签: aws-glue

我有一个约有150万行的SQL表,我想将它与一个包含约35万个文档的MongoDB集合进行比较。我需要以下信息:

  1. 仅在SQL表中但不在MongoDB集合中的行的列表。
  2. 仅在MongoDB集合中但不在SQL表中的文档列表。
  3. 对于两个数据库中的记录,每个不匹配的字段的字段名称和字段值的列表。
  4. 之前列出的每个项目的总数。

我编写了一个C#控制台应用程序来执行此操作,并将其作为计划任务在Windows EC2(t2.small)实例上运行。当我的数据集很小时,这在开始时效果很好。但是,现在它已经发展到可以使用约5GB内存的程度,比t2.small的要多。

像AWS Glue这样的东西适合吗?我已经阅读了Glue的文档,还不清楚这是否是有效的用例。

0 个答案:

没有答案