如何使用EMR

Question

我有一个文本文件，图片网址以换行符分隔。

我希望通过保存到S3存储桶并使用nodejs处理它们来处理这些大量图像。

如果不是更好的解决方案，如何使用EMR来实现这一目标呢？

Answer 1

您可以考虑使用S3 + Lambda。取决于您要下载的图像数量，当然还有您需要使用的图像。您可以在EC2实例（或您的本地机器）上运行节点进程，该实例读取文本文件，获取每个图像并将每个图像放在S3上。您可以在S3上创建触发器，以便在将任何新项目放入存储桶时，它会调用AWS Lambda函数。然后，Lambda函数可以根据需要处理图像。这里的限制是Lambda有5分钟的最大执行时间，因此它取决于你真正需要对图像做什么。如果处理时间少于这个时间，则应该没问题。

这是相对简单和快速的，因为它将根据需要创建尽可能多的Lambda实例来处理负载。

对此进行建模可能是一个合理的想法，以确保其符合预算：https://aws.amazon.com/lambda/pricing/。