Logstash / Elasticsearch慢速CSV导入

时间:2015-03-05 06:46:57

标签: elasticsearch logstash

我在我的桌面上测试了ELK堆栈(即1个节点)并且认为我从拉平面文件开始,使用logstash解析并将其输出到Elasticsearch。设置很简单,但通过平面文件工作非常缓慢。平面文件以制表符分隔,大约600万行和10个字段。我对refresh_intervalflush_sizeworkers进行了混乱,但我能够获得的最多是每秒约300个文档,这意味着5 -6个小时。我很难相信这是正确的。

除此之外,logstash停止在文件中读取579,242个文档(约一小时),但不会抛出任何错误。我猜错了什么?

如果相关,我的桌面设置为10gb(ES的堆大小设置为4gb)和4个核心。

0 个答案:

没有答案