从Kafka进入Elasticsearch的数据滞后

时间:2018-09-17 15:47:08

标签: java elasticsearch apache-kafka kafka-consumer-api elasticsearch-5

我将日志记录到Kafka的1个主题中,我将其解析并将其放入2个单独的Kafka主题(每个主题具有10个分区),然后通过10个任务通过kafka-elastic接收器将它们放入elasticsearch。 但是我面临连续30分钟的连续记录大约10分钟的严重延迟,而这又增加了更多的记录。 请建议缩小差距。

Ps。我检查了解析器是否工作正常,并立即将数据放入了2个主题。 我也在使用最新的elasticsearch 6和kafka。

0 个答案:

没有答案