是否可以在Apache Kafka中记录所有传入消息

时间:2019-06-24 18:18:12

标签: apache-kafka

我需要知道是否可以配置Apache Kafka代理的日志记录以编写所有生产/消耗的主题及其消息。 我一直在寻找log4j.properties,但是建议的属性似乎都无法满足我的需求。

谢谢。

查看Kafka生成的日志文件,似乎没有一个日志记录用不同主题编写的消息。

1 个答案:

答案 0 :(得分:0)

我觉得“ log”一词有些困惑。

在您谈论log4j时,我假设您在谈论我所谓的“应用程序日志”。 Kafka不会将其处理的记录写在application / log4j日志中。在Kafka中,log4j日志仅用于跟踪错误并提供有关代理人正在做的工作的上下文。

另一方面,Kafka向其“ log”(Kafka日志)中写入/读取记录。它们存储在log.dirs(默认为/tmp/kafka-logs)指定的路径中,并且不能直接读取。您可以根据需要使用DumpLogSegments工具读取这些文件,例如:

bin/kafka-run-class.sh kafka.tools.DumpLogSegments \
    -f /tmp/kafka-logs/topic-0/00000000000000000000.log