我们有一个应用程序,它每秒接受10K个请求,将它们放入S3,然后进行处理。
当前,我们正在使用Kafka,但出于各种原因(维护,成本等),我们希望将其替换为Firehose。我使用Firehose配置了API Gateway,而无需编写任何代码,便能够将我的请求存储在S3中的拼花文件中。
现在进行成本估算。从Amazon example开始,每秒500条记录的费用为216 $ /月。记录大小四舍五入到5Kb。在我们的案例中,每秒1万个请求的费用将增加20倍。
我们的记录大小为1.5k。因此,将多个记录打包到一个记录中很有意义。我没有找到如何轻松实现的示例。我不想自己实现此应用程序,因为有很多边缘情况需要管理。对我来说,这似乎是很普遍的情况,应该已经实施。
是否存在可用于打包记录的标准方法(AWS服务,github项目等)?
还是我的问题有更好的解决方案?