elasticsearch logstash 100%cpu actives shards 300 ++

时间:2014-09-26 06:58:31

标签: elasticsearch sharding logstash

当我启动elasticsearch(使用logstash)时,它会消耗100%的CPU。

如果我检查群集的状态,我可以看到

{
    "cluster_name": "elasticsearch",
    "status": "red",
    "timed_out": false,
    "number_of_nodes": 2,
    "number_of_data_nodes": 1,
    "active_primary_shards": 301,
    "active_shards": 301,
    "relocating_shards": 0,
    "initializing_shards": 4
    "unassigned_shards": 300
}

为什么我有这么多活动分片? 我在哪里可以配置它?

我尝试配置线程池,cahe和内存(https://gist.github.com/reyjrar/4364063

我试过

curl -XPUT 'localhost:9200/_settings' -d ' {"index.routing.allocation.disable_allocation": false}'

我的kibana非常慢,我不能再使用了它。

对于45天的日志,我有30gb的索引。

1 个答案:

答案 0 :(得分:0)

根据您拥有的天数,分片数量是正常的。默认情况下,logstash将创建包含5个主分片的索引。

您的ES群集运行状况为红色。您的所有节点都已启动并运行?它说只有2个数据节点上升,这是预期的吗?

您是否在logstash中运行嵌入式ES?如果是这样,那只建议仅用于开发/测试用途,并且您应该使用独立群集