AWS API Gateway + Firehose打包多个记录

时间:2019-03-22 18:36:42

标签: amazon-web-services amazon-kinesis-firehose

我们有一个应用程序,它每秒接受10K个请求,将它们放入S3,然后进行处理。

当前,我们正在使用Kafka,但出于各种原因(维护,成本等),我们希望将其替换为Firehose。我使用Firehose配置了API Gateway,而无需编写任何代码,便能够将我的请求存储在S3中的拼花文件中。

现在进行成本估算。从Amazon example开始,每秒500条记录的费用为216 $ /月。记录大小四舍五入到5Kb。在我们的案例中,每秒1万个请求的费用将增加20倍。

我们的记录大小为1.5k。因此,将多个记录打包到一个记录中很有意义。我没有找到如何轻松实现的示例。我不想自己实现此应用程序,因为有很多边缘情况需要管理。对我来说,这似乎是很普遍的情况,应该已经实施。

是否存在可用于打包记录的标准方法(AWS服务,github项目等)?

还是我的问题有更好的解决方案?

0 个答案:

没有答案