如何将存储在文件系统上的kafka日志转换为csv

Question

我的计算机上有一些用kafka生成的日志，当前以.log格式存储，如下所示：

我想将这些文件转换为带有消息和时间的csv记录。 我知道这个问题似乎太模糊或不清楚，抱歉，但是我真的在寻找实现这一目标的起点。

Answer 1

这些文件已加密。 如果您只为这些主题编写使用者并编写CSV文件，难道不是很容易吗？

Answer 2

您正在寻找DumpLogSegments命令。但是，这不会输出CSV，因此您必须解析某物

https://cwiki.apache.org/confluence/display/KAFKA/System+Tools#SystemTools-DumpLogSegment

转储日志段

这可以直接从日志文件中打印消息，或者只是验证 索引正确的日志

bin/kafka-run-class.sh kafka.tools.DumpLogSegments

必填参数“ [文件]”

Option Description
------ -----------
--deep-iteration if set, uses deep instead of shallow iteration
--files <file1, file2, ...> REQUIRED: The comma separated list of data and index log files to be dumped
--max-message-size <Integer: size> Size of largest message. (default: 5242880)
--print-data-log if set, printing the messages content when dumping data logs
--verify-index-only if set, just verify the index log without printing its content