Amazon Kinesis Firehose作为cloudwatch记录消费者

时间:2017-01-12 02:50:55

标签: amazon-web-services amazon-kinesis amazon-kinesis-firehose amazon-cloudwatchlogs

我的要求是从AWS收集VPC流日志。我创建了一个VPC流日志,并将其与云监视日志组"流日志组"相关联。 从CloudWatch日志订阅我想通过AWS Kinesis firehose订阅它,但是在订阅列表中我找不到" Kinesis Firehose",Only" Lambda"和#34; ElasticSearch Service"。你能帮我解决这个问题。

我们不能使用AWS Kinesis firehose订阅CloudWatch日志。

1 个答案:

答案 0 :(得分:7)

Firehose arn是CloudWatch Logs的有效订阅目标,但无法使用控制台设置,只能使用API​​或CloudFormation。

我发现的大多数示例都使用控制台的LogGroup选项“Stream to AWS Lambda”来提供转发到Amazon Kinesis Firehose的AWS Lambda,例如How to Visualize and Refine Your Network’s Security by Adding Security Group IDs to Your VPC Flow Logs

Using CloudWatch Logs Subscription Filters chapter of the Amazon CloudWatch Logs User Guide有一个Firehose Example (Example 3)可能更适合您的用例。

基本上,路径为Amazon CloudWatch LogGroup SubscriptionFilter -> Amazon Kinesis Firehose Delivery Stream -> Amazon S3 Bucket and Prefix

有趣的事实:Amazon CloudWatch Logs数据在交付给Firehose时已经过GZIP。