背景:
问题: 我可以使用kafka作为批处理要求的缓冲区吗?
这个想法是定义一个kafka生产者,batch.size为1MB,linger.ms为1分钟,然后将这些事件放到kafka主题中,键为出站API URL标识符。然后,消费者线程将每分钟(或每当它们获得1 MB大小的有效负载)一次读取所有消息,将所有这些消息分组为一个有效负载,然后访问出站API。
我担心的是,这是否是一个矫kill过正,如果我可以使用java.nio包实现类似的功能,但是再次重申,对于基于时间的限制,我仍然必须在上面写一个包装器