如何使用流利(td-agent.cong)在elasticsearch中创建多个索引

时间:2016-10-18 08:07:32

标签: elasticsearch kibana-4 fluentd

我正在设置EFK Stack。在Kibana中,我想表示一个应用程序索引和一个syslogs索引。

我使用流利的日志转发。

syslogs - > / var / log / messages和/ var / log / secure

申请 - > /var/log/application.log

什么是td-agent.cong创建两个索引plz帮助

感谢你

1 个答案:

答案 0 :(得分:1)

如果您正在使用ElasticSearch输出插件并想使用kibana,则可以通过更改 logstash_prefix 属性来配置索引名称。

阅读文档:elasticsearch output plugin documentation

我已添加以下fluentd.conf文件来演示您的用例。 在这个文件中我有2个匹配: 1. “alert” - 将所有带有“alert”(FluentLogger.getLogger(“alert”))的日志传递给elasticsearch中的“alert”索引。

  1. 默认匹配 - 将所有日志通过“fluentd”索引(这是此插件的默认索引)传递给elasticsearch。

    fluentd / CONF / fluent.conf

      @type前进   港口24224   绑定0.0.0.0

    <match alert.**>
      @type copy
      <store>
        @type elasticsearch
        host elasticsearch
        port 9200
        logstash_format true
        logstash_prefix alert
        logstash_dateformat %Y%m%d
        type_name access_log
        tag_key @log_name
        flush_interval 1s
      </store>
      <store>
        @type stdout
      </store>
    </match>
    
    
    <match *.**>
      @type copy
      <store>
        @type elasticsearch
        host elasticsearch
        port 9200
        logstash_format true
        logstash_prefix fluentd
        logstash_dateformat %Y%m%d
        include_tag_key true
        type_name access_log
        tag_key @log_name
        flush_interval 1s
      </store>
      <store>
        @type stdout
      </store>
    </match>