计划的Python脚本在AWS上运行，具有高内存使用率

Question

我有这个python脚本需要安排每天运行一次。它将占用大约4-6GB的内存（由于大量的数据帧操作）。我将使用AWS，我希望处理此类任务的最佳做法是什么。在部署之前将它放在像docker这样的容器中是一个好主意吗？

Answer 1

由于你的记忆需要在ram上，所以我建议使用带有CloudWatch事件的memory optimized ec2 instance。

为了最大限度地降低成本，您不希望这个EC2一整天都在运行，所以您可以做的是在CloudWatch和EC2之间安装几个lambda函数：

1. 每日触发器运行后启动ec2实例
2. 使用Python代码中的触发器停止ec2实例，该代码在完成后运行

如果这没有多大意义让我知道，我会尝试用图表来详细说明。