Question

我正在测试一个简单的管道 - Filebeat＆gt; Fafka＆gt; Logstash＆gt;文件。

Logstash没有从Kafka读取，但是当我使用此命令时，我看到Kafka有消息 -

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MyTopic --from-beginning

我的文件节拍配置 -

filebeat.prospectors:
- input_type: log
  paths:
    - /root/LogData/input.log

output.kafka:
  hosts: ["10.247.186.14:9092"]

  topic: MyTopic 
  partition.round_robin:
    reachable_only: false

  required_acks: 1
  compression: none
  max_message_bytes: 1000000

我的Logstash配置

input {
        kafka {
                bootstrap_servers => "localhost:9092"
                topics => ["MyTopic"]
        }

}

output {

        file {
                path => "/usr/share/logstash/test_out.log"

        }
}

我的Fafka＆amp; Logstash在同一个VM上运行，我正在使用Logstash docker，我按照以下方式启动了Logstash的docker -

sudo docker run -d --name logstash --expose 25826 -p 25826:25826 docker.elastic.co/logstash/logstash:5.4.0 --debug

Filebeat在不同的VM上运行。

我正在创建如下主题 -

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MyTopic

Logstash不是从卡夫卡读书

0 个答案: