Question

我试图使用犰狳进行线性回归，如下面的函数所示：

void compute_weights()
{
    printf("transpose\n");
    const mat &xt(X.t());
    printf("inverse\n");
    mat xd;
    printf("mul\n");
    xd = (xt * X);
    printf("inv\n");
    xd = xd.i();
    printf("mul2\n");
    xd = xd * xt;
    printf("mul3\n");
    W = xd * Y;
}

我把它拆分了，所以我可以看到程序变得如此巨大。矩阵X有64列，超过2300万行。转置并不是太糟糕，但是第一次乘法会导致内存占用完全爆炸。现在，据我所知，如果我乘以X.t（）* X，矩阵乘积的每个元素将是X列和X.t（）行的点积，结果应该是64x64矩阵。

当然，它应该需要很长时间，但为什么内存会突然爆炸到近30千兆字节？

然后它似乎依旧于那个记忆，然后当它到达第二个倍数时，它太多了，操作系统因为变得如此巨大而杀死它。

有没有办法在没有太多内存使用的情况下计算产品？这个记忆可以回收吗？有没有更好的方法来表示这些计算？

Answer 1

除非你使用巨大的工作站，否则你不可能一次性完成整个乘法运算。就像hbrerkere说的那样，你的初始消耗大约是22 GB。所以你要么为此做好准备，要么找到另一种方式。

如果你没有这样的工作站，另一种方法是自己进行乘法，并将其并行化。这是你如何做到的：

不要将整个矩阵加载到内存中，而是加载部分内容。
像一百万行X一样加载，并存放在某处。
加载一百万列Y
使用std::transform和二元运算符std::multiplies将您加载的部分相乘（这将利用处理器的矢量化，并使其快速），并填写您计算的部分结果。
加载下一部分矩阵，然后重复

这不会那么有效，但它会起作用。另一种选择是在将矩阵分解为较小的矩阵后考虑使用Armadillo，其乘法将产生子结果。

由于两个原因，两种方法都比完全乘法慢得多：

从内存加载和删除数据的开销
矩阵乘法已经是一个O（N ^ 3）问题......现在拆分你的乘法就是O（N ^ 2），所以它会变成O（N ^ 6）......

Answer 2

您可以使用QR分解使用更少的内存来计算权重（您可能希望查找最小二乘QR＆＃39;）;

简言之：使用户主转换（隐式）找到正交Q，以便

Q'*X = R where R is upper triangular

并同时转换Y

Q'*Y = y

解决

R*y = W for W using only the top 64 rows of R and y

如果你愿意覆盖Z和Y，那么这不需要额外的内存;否则你需要一份X副本和一份Y.

犰狳：矩阵乘法占用大量内存

2 个答案: