AWS过滤和导出日志

Question

我有一个用例-我必须在s3上流式传输和存储日志，但不是来自cloudtrail的所有日志，而是特定的过滤组。我找到了不错的解决方案，但它有局限性。我本机可以通过-在日志组上应用订阅过滤器来执行此操作，此过滤器会将日志记录到kinesis firehose。这很好，但是一个日志组只能有一个订阅筛选器和一个跟踪-一个日志组。 我是否必须为每个过滤器创建一个跟踪？似乎是一种过度杀伤力。我正在寻找可能的解决方案以对此进行存档。 Tbh我想避免使用lambda和athena，但是如果这是唯一的解决方案，我会去做。预先感谢您的任何建议

不要问我为什么要这样...：D安全合规性

Answer 1

基于评论。

此问题的建议解决方案是设置subscription filter to lambda function，而不是Firehose流。

lambda函数可以处理日志条目，并根据其自身的过滤规则，将不同的日志整流器分别指向其各自的目的地。这可能涉及直接写入给定的S3存储桶或不同的Firehose流。