我正在研究一个基于AWS服务的项目。在这个项目中,我将包含数千条记录的大文件上传到class UpLoadFile(models.Model):
user = models.ForeignKey(User, on_delete=models.CASCADE)
file = models.FileField(storage=MyStorage()) # Your custom storage
...
存储桶中,并使用S3
查询数据并创建报告。最近,我想更新数据(假设大文件中只有几条记录),然后使用新数据重新运行报告!
我要记住的是将数据加载到Athena
上,并对Redshift中保留的数据运行更新,并具有Lambda函数以使用更新后的数据生成新文件并替换S3中的文件桶。有更好的方法来完成此任务吗?