是否有任何人有过以这种方式使用S3的经验,这将极大地帮助我完成或完成这项任务。
计划
将400-800个对象/秒插入S3 1.5kb-2kb。 以密钥(UUID哈希),有效负载({key:value})发送。 这已经通过Artillery http测试进行了测试,似乎运行良好,但我有疑问。
从S3中提取对象每10秒大约40-60个对象
将SQS消息作为备份机制,以便能够将失败的S3插入转移到SQS中。
让SQS消息重试在30秒内再次插入S3或其他选项。
发送到s3的文件在读取插入记录之前的最小延迟时间为15分钟。如果延迟很高,这会让我安心,不会出现问题。
尝试这种实现的原因而不是Cassandra或DynamoDB很简单......
Cassandra,它管理的地狱,可以安静昂贵。 (一直与顾问合作,一团糟。) DynamoDB是下一个解决方案,如果这不是锻炼,我喜欢s3无限存储的想法,当然要便宜得多。
任何回复,建议和评论都将不胜感激!