我们需要将我们的AWS-Lambda日志发送给Fluentd,最后在Kibana中收集。我们需要以几乎实时的模式(最长10秒延迟)进行。目前,我们使用TCP传输在lambda执行期间将日志发送到Fluentd。这种方法的主要缺点是在以下地方受到性能影响:
到目前为止,性能视角的最佳解决方案是使用"内置" CloudWatch日志记录几乎没有性能损失,并从中重新发送日志到Fluentd。这里的问题是要重新发送这些日志,您必须创建另一个Lambda函数,该函数将处理从CloudWatch推送的日志。在我们正在建设的繁忙系统中,它可能会花费太多,因为会有很多日志。
我看到的另一个解决方案是让lambda按计划开始(即每10秒)并从CloudWatch中提取日志。
我担心我们可能会遗漏某些东西,并且有更好的方法或AWS套件工具来实现目标。
所以问题是:根据您的经验,考虑性能/成本比率是否有更好的方法?它是什么?