在Java中使用更大的20亿个元素大数组

时间:2018-05-11 20:39:41

标签: java arrays bigdata limit

我经常不得不使用Java中的大型数组,不断测试~2B元素限制。

有没有一种方便的方法来处理更大尺寸的数组?我需要的操作清单:

  • 创建一个新数组;
  • 设置/获取第i 个元素;
  • 通过分配一个较大的新数组并复制旧数组的内容来扩展数组;
  • 将另一个数组的内容(相当小的<< 2B)复制到数组中。

P.S。似乎许多工程师都在考虑这个问题。有关参考文献的好文章可以在https://www.nayuki.io/page/large-arrays-proposal-for-java

找到

1 个答案:

答案 0 :(得分:3)

我推荐fastutil库。我主要将它用于节省空间的Java集合(在内部使用原始数组),但是对于具有> 2^31元素的集合,还有一个关于Big data structures的部分。