使用AWS EMR扫描文件

Question

我有一个文件，它以（a，b）的形式存储超过100万个条目。我的系统必须扫描文件并找出'b'给出'a'，人们建议我使用AWS EMR，因为我们处理AWS资源和服务。有人帮我这个，因为我对EMR不太了解吗？我已经了解了有关EMR的基本知识。 EMR能解决我的问题吗？

Answer 1

我不确定您的算法是如何工作的以及您的数据有多大。很难说，使用MapReduce技术的最小数据量是多少。如果您的算法已经使用任何EMR兼容语言编写并且您拥有大量数据，那么EMR可能是一个不错的选择。

但我还会检查DynamoDB是否是一个很好的解决方案。