我在s3中存储了超过30GB的文件，我想编写一个Lambda函数来访问该文件，解析它然后运行一些算法。 我不确定我的lambda函数是否可以获取该大文件并对其进行处理，因为Lambda函数的Max执行时间为300秒（5分钟）。 我找到了关于加速更快的AWS S3功能，但它会有帮助吗？
考虑lambda函数以外的场景，是否可以建议任何其他服务来托管我的代码作为微服务并解析文件？
先谢谢
答案 0 :(得分：5)
完全基于处理要求和处理频率。
您可以使用Amazon EMR解析文件并运行算法，并根据要求终止群集或使其保持活动状态以进行频繁处理。 https://aws.amazon.com/emr/getting-started/
您可以尝试使用Amazon Athena（最近推出）服务，该服务将帮助您解析和处理存储在S3中的文件。亚马逊将照顾基础设施需求。 http://docs.aws.amazon.com/athena/latest/ug/getting-started.html
对于复杂处理流程要求，您可以使用AWS DataPipeline等AWS服务组合（用于管理流程和AWS EMR或EC2）来运行处理任务。https://aws.amazon.com/datapipeline/
希望这有帮助，谢谢