亚马逊网络服务 - SQS - Lambda

Question

目前我有一个由S3 PUT事件触发的lambda函数，lambda创建一个名为S3 bucket / Key的SQS消息。这个lambda填满了所有新的S3密钥。

S3存储桶包含zip文件，我的主要目标是使用这些文件解压缩，处理和存储数据。

用于将所有java代码放入此过程的最佳服务是什么，因为lambda本身仅限于内存大小。我需要读取que的东西来获取S3存储桶名称然后连接到它们并完成我想要的所有处理。我已经为处理完成了所有的实际代码，但我不确定我是否应该使用AWS批处理，Ec2，spark或其他任何东西。我对这些服务并不熟悉，似乎亚马逊提供了一百万项基本上也做同样事情的服务。

Answer 1

您可以设置自动调节EC2实例，该实例从SQS读取消息，解压缩文件并写回存储桶。

您可以通过阅读this链接获得深入了解。

注意：对于解压缩的文件，最好有一个不同的存储桶，以提高S3的吞吐量。

Answer 2

他们刚刚将sqs添加为lambda的源（不确定何时，但我现在可以肯定地将SQS添加为lambda的源）。不过，在互联网上（这是在爱尔兰地区），仍然看不到对此的任何引用。