无法让Logstash从头开始阅读现有的Kafka主题

Question

我尝试使用Logstash来使用Kafka主题，以便通过Elasticsearch进行索引。 Kafka事件是JSON文档。

我们最近将弹性堆栈升级到5.1.2。

我相信我能够使用相同的设置在5.0中使用OK主题，但那是不久之前所以也许我现在做错了什么，但是看不到它。这是我的配置（略有消毒）：

input {
    kafka {
        bootstrap_servers => "host1:9092,host2:9092,host3:9092"
        client_id => "logstash-elastic-5-c5"
        group_id => "logstash-elastic-5-g5"
        topics => "trp_v1"
        auto_offset_reset => "earliest"
    }
}

filter {

    json {
        source => "message"
    }

    mutate {

        rename => { "@timestamp" => "indexedDatetime" }

        remove_field => [
            "@timestamp",
            "@version",
            "message"
        ]
    }
}

output {
    stdout { codec => rubydebug }

    elasticsearch {
        hosts => ["host10:9200", "host11:9200", "host12:9200", "host13:9200"]
        action => "index"
        index => "trp-i"
        document_type => "event"
    }
}

当我运行它时，不会消耗任何消息，在＆＃34; [org.apache.kafka.clients.consumer.internals.ConsumerCoordinator]设置新分配的分区＆＃34;后，日志中不会显示任何活动迹象。在Kafka Manager中，消费者似乎立即出现＆＃34;总滞后= 0＆＃34;对于这个主题。

这个版本的Kafka插件存储Kafka本身的消费者偏移，因此每次我尝试针对同一主题运行Logstash时，我都会增加group_id，所以从理论上讲，它应该从该主题的最早偏移开始。

有什么建议吗？

编辑：看起来尽管将auto_offset_reset设置为＆＃34;最早的＆＃34;，但它还没有工作 - 好像它被设置为＆＃34;最新＆＃ 34 ;.我让Logstash运行，然后将更多条目加载到Kafka队列中，它们由Logstash处理。