朱莉娅的大型数组

时间:2019-07-07 02:38:25

标签: bigdata julia

我在Julia中有一个10000x10000数组,例如A=rand(10000,10000)。如何存储大数组,以便可以在诸如Atom / Juno这样的IDE中使用它,执行矩阵运算,行列式,特征值等?还是即使我将该数组传输到R,这也是在R中使用该大数组的一种方法吗?

1 个答案:

答案 0 :(得分:1)

如果数据稀疏(并非所有单元格都具有值),则可以将其存储为稀疏矩阵,这将大大改善内存占用量(请参见https://docs.julialang.org/en/v1/stdlib/SparseArrays/)。它是否适合内存还取决于矩阵的元素。例如。您可以用Int8表示值还是需要64位精度元素?矩阵不只是矩阵。

更笼统地说,如果您的对象变得太大而无法容纳在内存中,则可以将它们写入磁盘并对其进行“内存映射”,这样您就可以将磁盘上的矩阵用于任何处理可以使用普通矩阵。您可以在此处查看文档:{​​{3}}