存储流数据 - 快速,便宜,可靠,适合批量使用

时间:2016-05-24 20:32:38

标签: amazon-web-services streaming storage

我有一个(spring-boot)Web服务,它为每个请求生成一个json响应。这个响应在返回给查询用户的同时也需要在某个地方存档(这样我们才能知道我们对用户的响应)。

该服务需要支持4,000个请求/秒。因此,我们需要快速存档方法。归档数据稍后将由map-reduce(批处理)作业使用。

我想知道使用哪种解决方案 - Kafka,S3或任何其他解决方案。该服务已部署到AWS。因此,AWS中的解决方案是理想的。

要求如下:

  • 写入速度至少应为94K req / s。
  • 写入应该是非阻塞的(这样服务响应时间不会受到影响)。
  • 读取不需要很快,但应该适合map-reduce作业消费。
  • 数据应该适应服务器崩溃等。
  • 写作/存储和阅读不应太昂贵。

没有data retirement plan,即数据需要持续到时间结束。

您推荐哪种解决方案?

1 个答案:

答案 0 :(得分:1)

您的一些要求,例如"不应该太昂贵"有点模糊。最后,您需要自己根据所有具体要求评估服务。

考虑到这种资格,我会考虑将数据流式传输到Kenesis,目的是将数据存档到S3。我建议从AWS阅读this blog post以了解如何实现这一目标。