我对Apache Kafka比较陌生。作为一个小项目的一部分，我试图将文本日志文件作为单个消息放入Kafka。我遇到了一些编码错误。 Kafka的java API（据我所知）包含大部分字符串编码的规定。
作为解决方法，我在Kafka中逐行抛出我的日志文件，其中每一行代表一条消息，但这并不能解决我的初始问题陈述 - 一个文件作为一条消息。
答案 0 :(得分：1)
您应该包含错误消息。
无论如何，只要生产者/经纪人/消费者的maximum message size setting允许，就可以在单个消息中向Kafka发送任意大文件。
经纪人不关心数据的类型，因为他们以二进制格式存储数据
BTW我不确定将Kafka用于大型文件的效率如何，因为根据LinkedIn的测试，最佳缓冲区大小在64 - 128 kB范围内。
如果我是你，我会做一些测试：）