使用S3而不是Cassandra / DynamoDB(案例使用)

时间:2017-01-20 03:05:42

标签: http amazon-s3 cassandra amazon-dynamodb amazon-sqs

是否有任何人有过以这种方式使用S3的经验,这将极大地帮助我完成或完成这项任务。

计划

  1. 将400-800个对象/秒插入S3 1.5kb-2kb。 以密钥(UUID哈希),有效负载({key:value})发送。 这已经通过Artillery http测试进行了测试,似乎运行良好,但我有疑问。

  2. 从S3中提取对象每10秒大约40-60个对象

  3. 将SQS消息作为备份机制,以便能够将失败的S3插入转移到SQS中。

  4. 让SQS消息重试在30秒内再次插入S3或其他选项。

  5. 发送到s3的文件在读取插入记录之前的最小延迟时间为15分钟。如果延迟很高,这会让我安心,不会出现问题。

    尝试这种实现的原因而不是Cassandra或DynamoDB很简单......

    Cassandra,它管理的地狱,可以安静昂贵。 (一直与顾问合作,一团糟。) DynamoDB是下一个解决方案,如果这不是锻炼,我喜欢s3无限存储的想法,当然要便宜得多。

    任何回复,建议和评论都将不胜感激!

0 个答案:

没有答案