Question

我们正在使用logstash来同步弹性搜索，我们已经有大约300万个文档。同步需要3到4个小时。目前我们得到的只是，它是启动和停止的。有没有办法查看logstash中处理了多少条记录？

Answer 1

如果您使用的是Logstash 5及更高版本，Logstash Monitoring API可以为您提供帮助。您可以在处理事件时查看和监控Logstash内部发生的情况。如果您点击Pipeline stats API，您将获得每个阶段和插件处理事件的总数（输入/过滤/输出）：

curl -XGET 'localhost:9600/_node/stats/pipelines?pretty'

您将获得此类响应，您可以随时清楚地看到已处理了多少事件：

{
  "pipelines" : {
    "test" : {
      "events" : {
        "duration_in_millis" : 365495,
        "in" : 216485,
        "filtered" : 216485,
        "out" : 216485,
        "queue_push_duration_in_millis" : 342466
      },
      "plugins" : {
        "inputs" : [ {
          "id" : "35131f351e2dc5ed13ee04265a8a5a1f95292165-1",
          "events" : {
            "out" : 216485,
            "queue_push_duration_in_millis" : 342466
          },
          "name" : "beats"
        } ],
        "filters" : [ {
          "id" : "35131f351e2dc5ed13ee04265a8a5a1f95292165-2",
          "events" : {
            "duration_in_millis" : 55969,
            "in" : 216485,
            "out" : 216485
          },
          "failures" : 216485,
          "patterns_per_field" : {
            "message" : 1
          },
          "name" : "grok"
        }, {
          "id" : "35131f351e2dc5ed13ee04265a8a5a1f95292165-3",
          "events" : {
            "duration_in_millis" : 3326,
            "in" : 216485,
            "out" : 216485
          },
          "name" : "geoip"
        } ],
        "outputs" : [ {
          "id" : "35131f351e2dc5ed13ee04265a8a5a1f95292165-4",
          "events" : {
            "duration_in_millis" : 278557,
            "in" : 216485,
            "out" : 216485
          },
          "name" : "elasticsearch"
        } ]
      },
      "reloads" : {
        "last_error" : null,
        "successes" : 0,
        "last_success_timestamp" : null,
        "last_failure_timestamp" : null,
        "failures" : 0
      },
      "queue" : {
        "type" : "memory"
      }
    }
   }

在logstash中处理的记录数

1 个答案: