如何通过SimpleConsumer在Kafka中获取没有获取请求的消息的大小（元数据）？

Question

我正在使用SimpleConsumer并尝试使用spark来提取消息大小（字节）。

我能够使用元数据请求获得最早和最新的偏移量，但是不知道如何获得kafka（0.8.0）中的字节数。

我真的不想使用获取请求，因为想要检查足够的数据然后才会运行spark job（不是流式传输）来执行操作。

Answer 1

从元数据响应无法获取大小，获取大小需要下载无意义的消息。