Logstash中的大型字典文件（> 10MB）的文件描述符错误

Question

我在使用logstash过滤器插件处理的文件中有多条日志消息。然后，过滤后的日志将被发送到elasticsearch。

日志消息中有一个名为addID的字段。我想删除所有具有特定addID的日志消息。这些特定的addID存在于ID.txt文件中。

如果日志消息的addID与ID.txt文件中存在的任何addID匹配，则应删除该日志消息。我正在使用红宝石过滤器来实现这一目标。

场景：问题是如果我使用的字典文件是以MB为单位，则当我手动停止管道时，logstash挂起并且我得到错误的文件描述符错误。但是，如果我在KB中使用文件，一切正常。

我尝试将LS_HEAP_SIZE更改为4g。没有什么对我有用。

有人可以帮助我实现这个目标吗？

以下是我的配置文件。

input {

    file {
    path => "/Users/jshaw/logs/access_logs.logs
    ignore_older => 0
    }
}

filter {

    grok {

        patterns_dir => ["/Users/jshaw/patterns"]
        match => ["message", "%{TIMESTAMP:Timestamp}+{IP:ClientIP}+{URI:Uri}"]

    }


    kv{
        field_split => "&?"
        include_keys => [ "addID" ]
        allow_duplicate_values => "false"
        add_field => { "IS_BAD_IP" => "false" } 
    }

    if [ClientIP] { 
         ruby{
             code => 'if File.open("/Users/jsaw/mapping/badIP.txt").lines.any?{|line|line.include?(event["ClientIP"])}
              event["IS_BAD_IP"] = "true"
         end'

         }   

         if "true" in [IS_BAD_IP]{
              drop { }
         }     

    }
    output {

         elasticsearch{
              hosts => ["localhost:9200"]

         }
    }