Docker + ELK堆栈占用的空间比

时间:2016-11-18 18:21:01

标签: docker elastic-stack

所以我有一个看起来像这样的docker compose文件

elasticsearch:
  image: elasticsearch:latest
  command: elasticsearch 
  volumes:
    - ./elasticsearch/data:/usr/share/elasticsearch/data
    - ./elasticsearch/config:/usr/share/elasticsearch/config
    - ./elasticsearch/logs:/usr/share/elasticsearch/logs
  ports:
    - "9200:9200"
    - "9300:9300"
  restart: always
  environment:
    - ES_HEAP_SIZE=1g

logstash:
  build: logstash/
  command: logstash -f /config/logstash.conf
  volumes:
    - ./logstash/config:/config
  ports:
    - "5044:5044"
  links:
    - elasticsearch
  environment:
    - LS_HEAP_SIZE=512m
kibana:
  build: kibana/
  volumes:
    - ./kibana/config/:/opt/kibana/config/
  ports:
    - "5601:5601"
  links:
    - elasticsearch

在检查索引大小/磁盘使用情况时,似乎存在一些错位。

    [root@~]# curl 'localhost:9200/_cat/indices?v'
    health status index               pri rep docs.count docs.deleted store.size pri.store.size
    yellow open   filebeat-2016.11.17   5   1    3042279            0      1.7gb          1.7gb
    yellow open   filebeat-2016.11.14   5   1    3350057            0      2.1gb          2.1gb
    yellow open   .kibana               1   1          3            0     16.1kb         16.1kb
    yellow open   filebeat-2016.11.16   5   1    1716748            0    972.7mb        972.7mb
    yellow open   filebeat-2016.11.15   5   1    2126918            0      1.5gb          1.5gb

奇怪的是,这应该占据大约6.3gb的空间+ ELK的图像,我们将以1gb高速播放。与此同时,磁盘上的空间更接近12 - 13gb。

每天我都在运行一个自定义python脚本,该脚本对ElasticSearch进行CURL调用以删除最旧的索引。

我还注意到,在做du -h时,索引的ES大小与du -h报告中的小错位:示例 -

2.2GB /usr/share/docker/elasticsearch/data/elasticsearch/nodes/0/indices/filebeat-2016.11.14

我正在使用默认的logstash模板,该模板似乎与我的filebeat配置不匹配,这可能会导致高于平均日志大小。有人可以帮助了解其他可能泄漏到文件系统中并占用空间的问题吗?

由于

0 个答案:

没有答案