将图像存储在Apache Kafka中？

Question

Kafka的任何大用户（例如LinkedIn）都会在Kafka中存储上传的图片吗？我喜欢将所有放入日志中的架构简单性，但我担心它在实践中可能不可行。

Answer 1

理论上没有限制，因为您可以轻松地将图像存储为Kafka Queue中的二进制文件。但可能还有其他问题......我会尝试对此进行一些思考

使用者配置中有一个message.max.bytes参数，默认值为1000000。这样做实际上是为了防止代理耗尽内存，因为消费者没有流式传输消息的选项，并且必须分配内存才能读取消息。解决方法可能是压缩Kafka中的消息以节省空间。

我能找到的最合适的条件是通过传递发送和接收缓冲区的预分配来编写自己的客户端实现，提供在Kafka上的零拷贝文件传输，如this讨论中所示。

你需要检查是否有可能做出同样的努力。