Question

您好我一直在使用弹性堆栈进行自动日志记录。我有filebeat正在从路径读取日志，输出设置为通过端口5044进行logstash。 logstash配置有一个输入监听5044并输出推送到localhost：9200。问题是我无法让它工作，我不知道发生了什么。以下是文件：

我的filebeat.yml 路径：etc/filebeat/filebeat.yml

#=========================== Filebeat prospectors =============================

filebeat.prospectors:

# Each - is a prospector. Most options can be set at the prospector level, so
# you can use different prospectors for various configurations.
# Below are the prospector specific configurations.

- input_type: log

# Paths that should be crawled and fetched. Glob based paths.
paths:
- /mnt/vol1/autosuggest/logs/*.log
#- c:\programdata\elasticsearch\logs\*
<other commented stuff>
#----------------------------- Logstash output --------------------------------
output.logstash:
# The Logstash hosts
hosts: ["10.10.XX.XX:5044"]

# Optional SSL. By default is off.
<other commented stuff>

我的logstash.yml 路径：etc/logstash/logstash.yml

<other commented stuff>
path.data: /var/lib/logstash
<other commented stuff>
path.config: /etc/logstash/conf.d
<other commented stuff>

# ------------ Metrics Settings --------------
#
# Bind address for the metrics REST endpoint
#
http.host: "10.10.XX.XX"
#
# Bind port for the metrics REST endpoint, this option also accept a range
# (9600-9700) and logstash will pick up the first available ports.
#
# http.port: 9600-9700
<other commented stuff>
path.logs: /var/log/logstash
<other commented stuff>

我的logpipeline30aug.config文件路径：/usr/share/logstash

input {
  beats {
  port => 5044
  }
}

filter {
  grok {
match => { "message" => "\A%{TIMESTAMP_ISO8601:timestamp}%{SPACE}%{WORD:var0}%{SPACE}%{NOTSPACE}%{SPACE}(?<searchinfo>[^#]*)#(?<username>[^#]*)#(?<searchQuery>[^#]*)#(?<latitude>[^#]*)#(?<longitude>[^#]*)#(?<client_ip>[^#]*)#(?<responseTime>[^#]*)" }
  }
}

output {
   elasticsearch {
      hosts => ["http://localhost:9200"]
      index => "logstash30aug2017"
      document_type => "log"
   }
}

请注意： Elasticsearch，logstash，filebeat都安装在同一台机器上，使用ip：10.10.XX.XX并且我已经检查了防火墙，这不是问题所在。

我检查了logstash，filebeat服务都在运行。 Filebeat能够在配置时将数据推送到elasticsearch，并且logstash能够在配置时将数据推送到elasticsearch。

也许这就是我执行流程的方式是问题.. 我在bin/logstash -f logpipeline30aug.config中执行/usr/share/logstash启动它，然后从根目录执行/etc/init.d/filebeat start。

请注意：由于stackoverflow格式化问题，格式化可能会受到影响

有人可以帮忙吗？我已经尝试了3天以来的所有事情，我也完成了文件

Answer 1

您的filebeat.yml看起来无效。

输出部分没有缩进：

output.logstash:
  hosts: ["10.10.XX.XX:5044"]

通常，请检查配置文件的正确性，以确保它们正常。

例如，对于filebeat，您可以运行：

filebeat -c /etc/filebeat/filebeat.yml -configtest

如果您有任何错误，它会解释该错误是什么，以便您可以解决它。

您也可以对其他ELK服务使用类似的方法

无法将Filebeat连接到logstash以使用ELK进行日志记录

1 个答案: