如何执行除数据管道服务之外的S3中存储的SQL脚本

Question

我们一直致力于利用AWS服务每天安排几个sql脚本。 Datapipeline是一个不错的选择，但我们发现了底层支持系统的问题，即Task runner。还有其他我们可以寻找的选择。 Lambda的限制为300秒。我们使用的查询将超过5分钟。任何建议/解决方法都非常感谢。!!

Answer 1

你正走在正确的道路上。使用Lambda只是为了开始工作，而不是做实际的工作量。

例如，将您的应用程序打包到Docker容器中，将其推送到ECR并使用Lambdas定期添加AWS Batch作业。