将本地日志转发到Kinesis Firehose

时间:2019-03-25 08:43:23

标签: amazon-kinesis amazon-kinesis-firehose

对于我的应用程序日志记录,我计划将日志从本地服务器转发到AWS Kinesis firehose。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis

但是我认为此插件需要将日志数据转发到Kinesis Data Stream,然后我们可以创建到Kinesis Firehose的管道。如果我们指向Kinesis Firehose Delivery流,则会收到错误消息- ResourceNotFoundException消息:找不到帐户XXXX下的流测试

但是,如果我们将日志存储指向Kinesis数据流,然后将其通过管道传输到Kinesis Firehose,则它可以正常工作。

有人使用此log-stashoutput插件将日志数据直接转发到Kinesis Firehose。

1 个答案:

答案 0 :(得分:0)

logstash-output-kinesis使用Kinesis Producer库(KPL)将数据写入Kinesis流。到目前为止,KPL不支持直接写入Firehose。 -https://github.com/awslabs/amazon-kinesis-producer/issues/29

Firehose和Kinesis也具有不同的服务端点,并且在logstash-output-kinesis项目中,似乎只有设置kinesis端点的选项。 因此,即使您在配置中指定了有效的现有Firehose名称,由于端点集是AWS kinesis的端点集,您也应该看到“ ResourceNotFoundException”。 -https://github.com/samcday/logstash-output-kinesis/blob/acffae5beddcf00aa599c1fa75428f57bb7e7e30/lib/logstash/outputs/kinesis.rb#L55

相关问题