如何在ES之前排队数据

时间:2018-02-02 08:51:25

标签: elasticsearch queue logstash

我通过logstash将大量netflow数据(大约1000万条/秒)提取到ES中,但我担心ES在数据库中写入数据已经太迟了(如何查看是否有丢失的数据?) 。 因此,我认为我应该插入一个软件来排队数据,然后再将数据发送到ES以防止数据丢失。 是否有任何建议软件或任何想法?
我试过Kafka,但看起来有点困难。 我的操作系统是Windows。

这是我的结构:

enter image description here 非常感谢你!

0 个答案:

没有答案