流利的缓冲问题

时间:2018-10-12 05:56:29

标签: elasticsearch monitoring fluentd

我是流利工具的新手。我们最近在日志记录管道中引入了fluentd。我们同时使用转发器和聚合器,然后将数据推送到ElasticSearch。问题是只要ES节点无法访问,流利的缓冲区就会填满。 这是用于流利的以下配置:

   @type file
   chunk_limit_size 32MB
   total_limit_size 64GB
   flush_interval 10s
   overflow_action throw_exception
   flush_thread_count 4
   retry_type exponential_backoff
   retry_exponential_backoff_base 2
   retry_max_interval 60

   @type memory
   chunk_limit_size 32MB
   total_limit_size 16GB
   flush_interval 10s
   overflow_action throw_exception
   flush_thread_count 4
   retry_type exponential_backoff
   retry_exponential_backoff_base 2
   retry_max_interval 60 

0 个答案:

没有答案