使用EMR将Amazon S3数据导出到本地数据库

Question

有没有人曾使用EMR将Amazon数据从Amazon AWS导出到本地数据库？我想编写一个自定义M / R解决方案，它将某些数据和并行加载提取到本地网络数据库实例中。我在亚马逊网站上没有看到任何可能与否的信息。很多人提到在AWS实例中移动数据。

Answer 1

当您说“本地网络数据库”时，您指的是EC2实例或本地网络上的数据库吗？

无论哪种方式都可以 - 如果您使用的是非EC2或非AWS数据库，只需确保打开安全组/防火墙以建立必要的网络连接。

至于将数据从S3加载到本地数据库：

1. 您可以使用EMR从S3处理数据并使用映射器将其转换为CSV格式，然后将其批量导入数据库。这可能是最快的 - 因为从CSV批量导入将允许数据库快速导入数据。
2. 您可以使用EMR映射器将数据直接插入数据库 - 但我不建议使用此方法。由于多个映射器直接写入数据库，您可以轻松地使数据库过载并导致停顿和进程失败。