我正在接收来自服务器的流,这是以指数方式增长的。我需要检查每一分钟的新数据,处理这些数据,并在下一分钟要求更多。
数据是JSON文档。每分钟平均收到约600-700份文件。
由于性能问题,我必须避免阅读已处理的文件。
是否可以只读取最后一分钟收到的数据?
答案 0 :(得分:0)
您可以使用循环缓冲区并使用侦听器将数据放在那里。 例如,通过存储最后N个文档或块,它主要取决于您的应用程序的代码。
这样一来,旧的数据将被丢弃用于设计,你不必处理流'内部,也没有设计糟糕的解决方案。
这是为缓冲区定义正确大小的问题,但它看起来更容易解决问题。