Question

我正在尝试从Kafka获取数据并将其推送到ES索引。

input {
kafka {
bootstrap_servers => "XX.XXX.XXX.XXX:9092"
topics => ["timeseries_ht"]
}
}
output {
elasticsearch { hosts => ["XX.XXX.XXX.XXX:9200"]
index => "sound"
}
}

运行此命令后，我的ES主机中未创建索引。。配置有什么问题吗？我使用的是LOGSTASH 5.0.0。和ES 5.0.0也是如此。

在Logstash 2.x版本中：

input {
kafka {
zk_connect => "XX.XXX.XXX.XXX:2181"
topic_id => ["timeseries_ht"]
}
}
output {
elasticsearch {
hosts => ["XX.XXX.XXX.XXX:9200"]
index => "sound"
}
}

也不适用于Logstash 2.x.我无法在主机中看到索引创建。

任何人都可以帮助我在这里做错了吗？

Answer 1

使用Logstash 2，您可以像这样配置kafka输入，这样就可以了：

input {
  kafka {
    zk_connect => "XX.XXX.XXX.XXX:2181"
    topic_id => ["timeseries_ht"]
    auto_offset_reset => "smallest"
    reset_beginning => true
  }
}
output {
  elasticsearch {
    hosts => ["XX.XXX.XXX.XXX:9200"]
    index => "sound"
  }
}

logstash配置中的kafka并将输出发送到ES

1 个答案: