kafka +从主题日志文件中读取

时间:2018-11-24 18:17:24

标签: apache-kafka apache-kafka-streams

我有一个主题日志文件和相应的.index文件。我想以流方式阅读消息并进行处理。我应该从哪里开始?

  1. 我应该将这些文件加载​​到Kafka生产者并从主题中读取吗?
  2. 我可以直接编写使用者以从文件中读取数据并进行处理吗?

我遍历了Kafka网站,到处都有,它在示例中使用了预先建立的Kafka生产者和消费者。因此,我无法获得足够的指导。

我想以Java流式阅读。

该文本看起来已加密,因此我没有发布输入文件。

我们非常感谢您的帮助。

1 个答案:

答案 0 :(得分:1)

您可以dump log segments并使用深度迭代选项将数据反序列化为更易读的内容。

如果要“流式传输”,请使用标准的Unix管道输出到其他工具

  

进行汇总操作

然后使用Kafka Streams从主题中实际读取所有分区,而不是单个代理上的单个分区