Question

尝试通过logstash更新elasticsearch中的特定字段。是否可以通过logstash仅更新一组字段？

请找到以下代码，

    input {
  file {
        path => "/**/**/logstash/bin/*.log"
        start_position => "beginning"
        sincedb_path => "/dev/null"
        type => "multi"
  }
}

filter {
        csv {
                separator => "|"
                columns => ["GEOREFID","COUNTRYNAME", "G_COUNTRY", "G_UPDATE", "G_DELETE",  "D_COUNTRY", "D_UPDATE", "D_DELETE"]

}
elasticsearch {
         hosts => ["localhost:9200"]
         index => "logstash-data-monitor"
         query => "GEOREFID:%{GEOREFID}"
         fields => [["JSON_COUNTRY","G_COUNTRY"],
                    ["XML_COUNTRY","D_COUNTRY"]]
           }

if [G_COUNTRY] {
mutate {
    update => { "D_COUNTRY" => "%{D_COUNTRY}"
 }
  }
}
}
output {
elasticsearch {
        hosts => ["localhost:9200"]
        index => "logstash-data-monitor"
        document_id => "%{GEOREFID}"
  }
}

我们使用上面的配置时，我们会删除空值字段而不是跳过空值更新。

数据来自2个不同的来源。一个来自XML文件，另一个来自JSON文件。

XML日志格式：GEO-1 | CD | 23 | John | 892 |加拿大| 31-01-2017 | QC | - | - | - | - | - JSON日志格式：GEO-1 | AS | 33 | - | - | - | - | - | Mike | 123 | US | 31-01-2017 | QC

添加一个日志时，将在索引中创建新文档。在读取第二个日志文件时，现有文档应该更新。如果日志文件是XML，则更新应仅在前5个字段中发生，如果日志文件是JSON，则更新应在最后5个字段中发生。请在logstash中建议我们如何执行此操作。

尝试使用上面的代码。请检查并且可以帮助解决这个问题吗？

Answer 1

要使Elasticsearch输出执行index you need to tell it to do something else以外的任何操作。

elasticsearch {
        hosts => ["localhost:9200"]
        index => "logstash-data-monitor"
        action => "update"
        document_id => "%{GEOREFID}"
}

这应该包含在条件中，以确保您只更新需要更新的记录。不过，还有另一个选择doc_as_upsert

elasticsearch {
        hosts => ["localhost:9200"]
        index => "logstash-data-monitor"
        action => "update"
        doc_as_upsert => true
        document_id => "%{GEOREFID}"
}

这告诉插件如果是新的则插入，如果不是则更新。

但是，您尝试使用两个输入来定义文档。这使事情变得复杂。此外，你没有提供两种输入，所以我会即兴发挥。要提供不同的输出行为，您需要定义两个输出。

input {
  file {
    path => "/var/log/xmlhome.log"
    [other details]
  }

  file {
    path => "/var/log/jsonhome.log"
    [other details]
  }
}

filter { [some stuff ] }

output {
  if [path] == '/var/log/xmlhome.log' {
    elasticsearch {
      [XML file case]
    }
  } else if [path] == '/var/log/jsonhome.log' {
    elasticsearch {
      [JSON file case]
      action => "update"
    }
  }
}

这样设置将允许您根据事件的来源更改ElasticSearch行为。

Logstash更新elasticsearch中的文档

1 个答案: