Question

使用logstash 1.2.1，现在可以有条件地执行各种操作。如果管理许多日志文件并实现度量提取，即使是早期版本的conf文件也会变得复杂。

在查看this comprehensive 示例后，我真的很想知道自己，我怎样才能检测到此配置中的任何损坏？

任何想法。

Answer 1

对于语法检查，有--configtest：

java -jar logstash.jar agent --configtest --config <yourconfigfile>

要测试配置的逻辑，您可以编写rspec测试。这是一个用于测试haproxy日志过滤器的rspec文件示例：

require "test_utils"

describe "haproxy logs" do
  extend LogStash::RSpec

  config <<-CONFIG
  filter {
    grok {
       type            => "haproxy"
       add_tag         => [ "HTTP_REQUEST" ]
       pattern         => "%{HAPROXYHTTP}"
    }
    date {
       type            => 'haproxy'
       match           => [ 'accept_date', 'dd/MMM/yyyy:HH:mm:ss.SSS' ]
    }
  }
  CONFIG

  sample({'@message' => '<150>Oct 8 08:46:47 syslog.host.net haproxy[13262]: 10.0.1.2:44799 [08/Oct/2013:08:46:44.256] frontend-name backend-name/server.host.net 0/0/0/1/2 404 1147 - - ---- 0/0/0/0/0 0/0 {client.host.net||||Apache-HttpClient/4.1.2 (java 1. 5)} {text/html;charset=utf-8|||} "GET /app/status HTTP/1.1"',
          '@source_host' => '127.0.0.1',
          '@type' => 'haproxy',
          '@source' => 'tcp://127.0.0.1:60207/',

      }) do

    insist { subject["@fields"]["backend_name"] } == [ "backend-name" ]
    insist { subject["@fields"]["http_request"] } == [ "/app/status" ]
    insist { subject["tags"].include?("HTTP_REQUEST") }
    insist { subject["@timestamp"] } == "2013-10-08T06:46:44.256Z"
    reject { subject["@timestamp"] } == "2013-10-08T06:46:47Z"
  end
end

这将基于给定的过滤器配置运行输入样本并测试是否产生预期的输出。

要运行测试，请将测试保存为haproxy_spec.rb并运行`logstash rspec：

java -jar logstash.jar rspec haproxy_spec.rb

Logstash source repository中有很多规范示例。

Answer 2

因为logstash已升级，现在该命令将类似于（给文件夹）

/opt/logstash/bin/logstash agent --configtest  -f /etc/logstash/logstash-indexer/conf.d

如果您看到一些警告，但错误消息混合在一起，并且您不知道哪个有问题。您必须逐个检查其文件

如何实现logstash配置的单元或集成测试？

2 个答案: