Question

假设您有2种不同类型的日志，例如技术和商业日志，您想要：

使用gelf输出
使用专用的elasticsearch_http输出将json业务日志存储到elasticsearch集群中。

我知道，例如Syslog-NG，配置文件允许定义几个不同的输入，然后可以在分派之前单独处理; Logstash似乎无法做到的事情。即使一个实例可以使用两个特定的配置文件启动，所有日志都采用相同的通道并应用相同的处理...

我应该运行尽可能多的实例，因为我有不同类型的日志吗？

Answer 1

我应该运行尽可能多的实例，因为我有不同类型的日志吗？

没有！您只能运行一个实例来处理不同类型的日志。

在logstash配置文件中，您可以使用不同的type来指定每个输入。然后在过滤器中，您可以使用if来区分不同的处理，并且在输出处你可以使用“if”输出到不同的目的地。

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

希望这可以帮助你：）

Answer 2

我使用标签进行多个文件输入：

input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

Answer 3

我认为logstash无法读取输入部分中的2个以上文件。试试下面的

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}

如何使用Logstash处理多个异构输入？

3 个答案: