从第三方API获取结果并将结果转储到S3中

Question

我一般对AWS和云服务都不熟悉。我计划要做的是连续从第三方API获取数据，该API一次返回JSON结果（每个3-5 MB）并将结果转储到S3存储桶中。我想自动化该过程，目前我的解决方案是在EC2实例上运行python脚本以获取结果并将其传输到S3存储桶，就像我在本地手动执行的那样。这是实现这种数据收集的方式吗？由于我是新手，所以我想留在免费套餐中。预先感谢。

Answer 1

您尚未提供来自API的典型响应大小。据我了解，这是一个实验项目。希望这些提示对您有所帮助：

• 看看aws free tier page
• 使用t2.micro
• 在AWS上设置帐单提醒-可能发生任何事情，支付5美元仍然比支付500美元更好。

我不确定您是否已经使用过s3，但这也是要考虑的一些事项：

• 计算您将以MB为单位存储多少数据
• 在s3上设置生命周期策略以删除已存在N天的对象（除非您需要它们）。
• 确保已关闭版本控制（除非您需要它）

来自文档：注册后，新的AWS客户将在 Standard 存储类别中获得5 GB的Amazon S3存储，20,000个Get请求， 2,000个Put请求，并在每个月一年内将15 GB的数据传输出

因此，您可能希望将对象分批放入s3（我的意思是一个对象将包含来自API的多个响应）。如果脚本每秒钟运行一次并将对象推送到s3，则似乎是2000个免费放置请求成为瓶颈。

prices for s3

祝你好运：）