如何高效,廉价地更新存储在S3存储桶中的文件数据?

时间:2019-02-28 16:08:51

标签: amazon-web-services amazon-s3 amazon-redshift amazon-athena

我正在研究一个基于AWS服务的项目。在这个项目中,我将包含数千条记录的大文件上传到class UpLoadFile(models.Model): user = models.ForeignKey(User, on_delete=models.CASCADE) file = models.FileField(storage=MyStorage()) # Your custom storage ... 存储桶中,并使用S3查询数据并创建报告。最近,我想更新数据(假设大文件中只有几条记录),然后使用新数据重新运行报告!

我要记住的是将数据加载到Athena上,并对Redshift中保留的数据运行更新,并具有Lambda函数以使用更新后的数据生成新文件并替换S3中的文件桶。有更好的方法来完成此任务吗?

0 个答案:

没有答案