限速AWS CloudWatch日志提取

时间:2020-09-13 23:35:18

标签: amazon-web-services docker logging amazon-cloudwatch

我正在将awslogs日志记录驱动程序用于docker-compose堆栈。在星期五晚上,EC2实例空间不足,因此依赖Redis服务器的NodeJS服务器开始引发错误:BRPOPLPUSH ReplyError: MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk.,因为Redis不再能够写入磁盘。当我在服务器上腾出一些空间时,这种情况已得到纠正,但awslogs驱动程序在1天半的时间内记录了重复的错误,直到250 GB以上,使我在data ingestion costs中花费了约150美元。

目前已解决此问题,有没有一种方法可以使用awslogs驱动程序或使用AWS CloudWatch agent来限制AWS CloudWatch日志的接收速率?我使用CloudWatch代理“监视”文件中许多项目的更改,这使我担心其中任何一个事件的发生。

到目前为止,我所看到的唯一解决方案是SegmentIO的rate-limiting-proxy描述为here。但是,该项目已不再维护,并且如果没有用于编写作品的文档,则显得有些复杂。

0 个答案:

没有答案