从logstash中的AWS S3输入路径中提取字段

Question

是否可以根据存储桶路径添加字段/标记？我试图使用grok，但它没有用。

Answer 1

使用Logstash 6.0.1，您将能够从S3获取每个文件的密钥（或路径）。

示例：

input {
    s3 {
        bucket => "<bucket-name>"
        prefix => "<prefix>"
    }
}

filter {
    mutate {
        add_field => {
            "file" => "%{[@metadata][s3][key]}"
        }
    }
    ...
}

参考： This answer