大内存(数据大小)集合

时间:2012-11-03 22:12:48

标签: java data-structures collections bigdata

我经常要使用java.util.collection包中的对象,这些对象符合Map和Set接口。

当我将数百万个元组或实体插入这些对象(HashMap,TreeMap等)时,它们的性能,插入和查找都会慢慢爬行。

我设计了派生类,它们基本上是java.util.collection中类的组合,可以在性能上进行更好的扩展。

我想知道是否有一个开源的等效java.util.collections包,它已针对处理大量数据进行了优化。

1 个答案:

答案 0 :(得分:4)

要获得性能更佳的馆藏图书馆,请尝试trove。但是,一般来说,您希望通过流式传输或其他形式的延迟加载来解决这些问题,这样您就可以执行聚合等操作而无需将整个数据集加载到内存中。

您还可以使用Redis或CouchDB等键值存储来存储此数据。