非常慢的稀疏矩阵填充和特征中的无记忆增益

时间:2015-10-22 16:46:24

标签: c++ eigen

我正在尝试将 Eigen tutorial中给出的示例实现为伪代码。据我了解,它说明了填充稀疏矩阵的推荐方法,前提是每列的非零条目数是已知的。

伪代码位于Header" 填充稀疏矩阵"下,编写如下:

1: SparseMatrix<double> mat(rows,cols);         // default is column major
2: mat.reserve(VectorXi::Constant(cols,6));
3: for each i,j such that v_ij != 0
4:   mat.insert(i,j) = v_ij;                    // alternative: mat.coeffRef(i,j) += v_ij;
5: mat.makeCompressed();                        // optional

我尝试将其转换为C,如下所示。我(希望)写了一些vee(),它会为每列创建2500个非零元素。因此2500应该对应于示例中的6。我把它设置为3000来测试make.Compressed也是。

不幸的是,我不了解该计划的行为。它在几秒钟内i = 0 ... 3000,然后卡住几分钟。然后它进入6000并再次卡住几分钟。为什么这样以及如何获得更好的性能?

此外,内存使用非常奇怪。您可以看到,有时候Eigen使用的内存比GSL中相应的密集矩阵所需的内存要大得多。使用的内存也会大幅波动。步数大于100MB

我编译并运行如下:

  

ludi @ ludi-M17xR4:〜/ Desktop / tests $ g ++ -o eigenfill.x eigenfill.cc -L / usr / local / lib -lgsl -lgslcblas&amp;&amp; ./eigenfill.x

#include <iostream>
#include <stdio.h>
#include <stdlib.h>     
#include <Eigen/Sparse>
#include <gsl/gsl_matrix.h>
#define rows 1e4
#define cols 1e4



/*-- DECLARATIONES --*/
int FillMatrix(Eigen::SparseMatrix<double> mat);
double vee(int i, int j);

int main()
{
printf("---> Watch gsl matrix memory usage!\n");    
gsl_matrix *testmat = gsl_matrix_calloc(rows, cols);
sleep(20);
gsl_matrix_free(testmat);
printf("---> Watch eigen matrix memory usage!\n");  

Eigen::SparseMatrix<double> mat(rows,cols);         // default is column major
FillMatrix(mat);
printf("------------------------DONE");
return(0);
}

/*-- --*/
int FillMatrix(Eigen::SparseMatrix<double> mat)
{
int i, j;
Eigen::VectorXd Vres;
mat.reserve(Eigen::VectorXi::Constant(cols,3000));
    for(i=0;i<rows;i++)
    {
        if(i%500==0){printf("i= %i\n", i);}
    for(j=0;j<cols;j++)
        {
        if (vee(i,j) != 0){mat.insert(i,j) = vee(i,j);    /*alternative: mat.coeffRef(i,j) += v_ij;*/ }
        }

    }
printf("--->starting compression"); 
mat.makeCompressed();

return(0);
}
/*-- --*/
double vee(int i, int j)
{
    double result = 0.0;

    if(j%4 == 0){result =1.0;}

    return result;
}
/*-- --*/

编辑

一个答案提醒我,我需要使用地址,因为FillMatrix()的局部变量在运行时会消失。我尝试了以下,但没有编译:

#include <iostream>
#include <stdio.h>
#include <stdlib.h>     
#include <Eigen/Sparse>
#include <gsl/gsl_matrix.h>
#define rows 1e4
#define cols 1e4



/*-- DECLARATIONES --*/
int FillMatrix(Eigen::SparseMatrix<double> & mat);
double vee(int i, int j);

int main()
{
printf("---> Watch gsl matrix memory usage!\n");    
gsl_matrix *testmat = gsl_matrix_calloc(rows, cols);
sleep(20);
gsl_matrix_free(testmat);
printf("---> Watch eigen matrix memory usage!\n");  

Eigen::SparseMatrix<double> mat(rows,cols);         // default is column major
FillMatrix(& mat);
printf("------------------------>DONE\n");
return(0);
}

/*-- --*/
int FillMatrix(Eigen::SparseMatrix<double> &mat)
{
int i, j;
Eigen::VectorXd Vres;
mat.reserve(Eigen::VectorXi::Constant(cols,3000));
    for(i=0;i<rows;i++)
    {
        if(i%500==0){printf("i= %i\n", i);}
    for(j=0;j<cols;j++)
        {
        if (vee(i,j) != 0){mat.insert(i,j) = vee(i,j);    /*alternative: mat.coeffRef(i,j) += v_ij;*/ }
        }

    }
printf("--->starting compression\n");   
mat.makeCompressed();

return(0);
}
/*-- --*/
double vee(int i, int j)
{
    double result = 0.0;

    if(i%4 == 0){result =1.0;}

    return result;
}
/*-- --*/

错误消息是:

ludi@ludi-M17xR4:~/Desktop/tests$ g++ -o eigenfill.x eigenfill.cc -L/usr/local/lib -lgsl -lgslcblas && ./eigenfill.x
eigenfill.cc: In function ‘int main()’:
eigenfill.cc:24:17: error: invalid initialization of non-const reference of type ‘Eigen::SparseMatrix<double>&’ from an rvalue of type ‘Eigen::SparseMatrix<double>*’
 FillMatrix(& mat);
                 ^
eigenfill.cc:12:5: error: in passing argument 1 of ‘int FillMatrix(Eigen::SparseMatrix<double>&)’
 int FillMatrix(Eigen::SparseMatrix<double> & mat);
     ^
ludi@ludi-M17xR

修改 如果我写,它会编译:

  

FillMatrix(垫);

而不是

  

FillMatrix(安培;垫);

我不明白。最后一个不应该是正确的吗?

1 个答案:

答案 0 :(得分:1)

这是因为你完全填满了四列以上的一列。它看起来如下:

1 0 0 0 1 0 0 0 1 ...
1 0 0 0 1 0 0 0 1 ...
1 0 0 0 1 0 0 0 1 ...
1 0 0 0 1 0 0 0 1 ...
...

j%4 == 0替换i%4 == 0将完成这项工作。内存使用情况将完全为:2500*cols*(sizeof(double)+sizeof(int)) + cols*sizeof(int)

您还必须修复FillMatrix的原型,以便填充真实矩阵而不是临时矩阵:

int FillMatrix(Eigen::SparseMatrix<double> &mat);

最后,如果您的目标是使用具有大约1/4非零的稀疏矩阵,那么密集表示可能会更快。