我有一个(spring-boot)Web服务,它为每个请求生成一个json响应。这个响应在返回给查询用户的同时也需要在某个地方存档(这样我们才能知道我们对用户的响应)。
该服务需要支持4,000个请求/秒。因此,我们需要快速存档方法。归档数据稍后将由map-reduce(批处理)作业使用。
我想知道使用哪种解决方案 - Kafka,S3或任何其他解决方案。该服务已部署到AWS。因此,AWS中的解决方案是理想的。
要求如下:
没有data retirement plan
,即数据需要持续到时间结束。
您推荐哪种解决方案?
答案 0 :(得分:1)
您的一些要求,例如"不应该太昂贵"有点模糊。最后,您需要自己根据所有具体要求评估服务。
考虑到这种资格,我会考虑将数据流式传输到Kenesis,目的是将数据存档到S3。我建议从AWS阅读this blog post以了解如何实现这一目标。