按需运行logstash

Question

是否可以按需运行logstash而不是流文件？我有一组文件放在一个文件夹中，但我想根据需要将少数几个文件推送到elasticsearch。

这是否可以使用logstash？我可以选择以编程方式执行它而不使用logstash。但考虑到今天的文件大小（~10gb）和未来的预期增长，我想看看logstash是否是一个选项。

Answer 1

您始终可以使用stdin输入将文件内容传送到Logstash：

cat myfile.txt | bin/logstash -f logstash.conf

logstash.conf定义

input { 
    stdin{}
}

Answer 2

您可以参考logstash-input-file寻求帮助。 要分离您要监控的文件：

input{
    file{
        path => ["/var/log/messages","/var/log/nginx/access.log"]
    }
}

或者，在这种情况下，您还可以监视文件夹并在其中排除某些文件：

input{
    file{
        path => ["/var/log/nginx/*.log"]
        exclude => "error.log"
    }
}