散布的日志已被截断

时间:2020-09-15 21:13:30

标签: splunk fluentd

我正在使用Fluentd将我的Kubernetes荚日志转发到splunk,但是在splunk中,由于它们被截断,所以我看不到荚日志的完整长度。例如,我们的单行日志长度为74286个字符,但splunk仅显示16385个字符。 我该怎么解决这个问题?

通过这种方式,我可以在流畅的configmap中进行配置。

<match **>
      @id splunk
      @type splunk-hec
      @log_level info
      server "#{ENV['FLUENT_SPLUNK_HOST']}"
      protocol https
      verify false
      host "#{ENV['CLUSTER_NAME']}_#{ENV['NODE_NAME']}"
      token "#{ENV['FLUENT_SPLUNK_TOKEN']}"
      index "#{ENV['SPLUNK_INDEX']}"
      buffer_type memory
      buffer_queue_limit 256
      buffer_chunk_limit 8m
      batch_size_limit 8000000
      flush_interval 1s
    </match>

1 个答案:

答案 0 :(得分:1)

默认情况下,Splunk应该截断10,000个字符。您可以在props.conf文件中进行更改。

[mysourcetype]
TRUNCATE = 75000

这将是“魔术” 6其余设置的补充:TIME_PREFIXTIME_FORMATMAX_TIMESTAMP_LOOKAHEADSHOULD_LINEMERGELINE_BREAKER