即使它被旋转,我如何确保尾部读取文件?

时间:2015-07-21 11:10:47

标签: apache-kafka tail logrotate

我正在尝试将所有日志发送到Apache Kafka pubsub消息传递来实现nginx日志轮换。虽然有一个非常大的输入(大约1GBpm),我不知道当日志文件旋转时尾部会如何表现。

例如:

  1. 我正在使用此命令拖尾日志文件:tail -F access.log | kafkacat -b broker -t topic
  2. 在某个时间点tail将因读取管道最大缓冲区大小而无法读取文件,因为向kafka发送发送消息不是即时的。
  3. 如果在logrotate被锁定时,tail命令会轮换文件,则无法判断之前的access.log是否已被完全读取,或者是否还有一些日志。
  4. 所以这是我的问题:我如何实现tailkafkacat同时确保尾部将读取所有文件,无论它是否会旋转?

0 个答案:

没有答案