从数据库上传到s3时的数据完整性检查

时间:2018-08-19 16:01:49

标签: python-2.7 amazon-s3 data-integrity

我正在读取数据库表(作为行集),并将数据作为csv文件写入AWS S3中。这是用于将数据作为备份。寻找一种方法来检查上传到S3的数据的完整性。

MD5方法(S3提供了etag标头)在这里可能无济于事,因为我不在本地存储数据以与哈希进行比较。这是一个内存中上传过程。

有没有一种方法可以检查S3数据是否与我的数据库中的数据相同。任何建议,将不胜感激。

注意:我正在使用python脚本进行该过程。

0 个答案:

没有答案