Kinesis代理未通过Firehose发送.log文件

时间:2019-06-26 05:29:18

标签: amazon-web-services amazon-kinesis-firehose amazon-kinesis-agent

我已经按照AWS docs中的说明设置了Kinesis消防水带并安装了Kinesis代理。我可以将测试数据发送到S3存储桶,但Kinesis代理不会通过发送任何.log文件。我怀疑将代理连接到消防水龙有问题。

我的/etc/aws-kinesis/agent.json文件在下面。我也尝试了不使用"firehose.endpoint"的{​​{1}},但是仍然无法获得任何数据。

我已验证aws-kinesis-agent服务正在运行。

我没有使用kinesis.endpoint / kinesisStream,但是我将流程留在了agent.json文件中。这可能是个问题吗?

我想念什么?

https://

编辑:

{ "cloudwatch.emitMetrics": true, "kinesis.endpoint": "", "firehose.endpoint": "https://firehose.us-west-2.amazonaws.com", "flows": [ { "filePattern": "/home/ec2-user/src/Fake-Apache-Log-Generator/*.log*", "kinesisStream": "yourkinesisstream", "partitionKeyOption": "RANDOM" }, { "filePattern": "/home/ec2-user/src/Fake-Apache-Log-Generator/*.log*", "deliveryStream": "apachelogfilesdeliverystream" } ] } 处的日志文件显示正在解析0条记录。日志消息引导我前往this post,并提出了建议的修复程序。另外,我还必须从/etc/aws-kinesis/agent.json文件中删除运动学流程,以避免在日志文件中出现异常。

Botton行是aws-kinesis-agent无法从/ home / ec2-user /或其子目录读取文件,因此您必须修复agent.json文件。

1 个答案:

答案 0 :(得分:0)

由于某些权限问题,Kinesis代理无法从/home/ec2-user/<any-file>的文件中读取日志。尝试将日志位置更改为/tmp/logs/<log-file>