格式化Logstash的S3 BucketSize日志

时间:2016-07-24 14:51:49

标签: json amazon-s3 logstash

我正在尝试使用ELK Stack在Kibana中显示S3 BucketSize信息的解决方案。我需要存储在S3 Bucket中的S3 BucketSize信息,然后通过Logstash读取文件。希望这能解决查看历史数据的问题。由于我是ELK的新手,我很小,不知道如何开展这项工作。

我已尝试过以下工作,但效果不佳......

使用ncdu-s3工具我有JSON格式的S3 BucketSize详细信息。我试图把它放到Logstash中,它会抛出如下错误。

JSON文件格式为

[1,0,{"timestamp":1469370986,"progver":"0.1","progname":"ncdu-s3"},
[{"name":"s3:\/\/BucketName\/FolderName1"},
[{"name":"FolderName1"},
{"dsize":107738,"name":"File1.rar"},
{"dsize":532480,"name":"File2.rar"},
[{"name":"FolderName2"},
{"dsize":108890,"name":"File3.rar"}]]]

我使用以下命令

curl -XPOST 'http://localhost:9200/test/test/1' -d @/home/ubuntu/filename.json

ERROR:

{"error":"MapperParsingException[Malformed content, must start with an object]","status":400}

我想我需要格式化JSON文件才能工作......有人建议一个好的方法吗?

0 个答案:

没有答案