Question

我正在尝试评估Python与C ++相比的性能如何。

这是我的Python代码：

a=np.random.rand(1000,1000) #type is automaically float64
b=np.random.rand(1000,1000) 
c=np.empty((1000,1000),dtype='float64')

%timeit a.dot(b,out=c)

#15.5 ms ± 560 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

这是我在发行版中使用Xcode编译的C ++代码：

#include <iostream>
#include <Dense>
#include <time.h>

using namespace Eigen;
using namespace std;

int main(int argc, const char * argv[]) {
    //RNG generator
    unsigned int seed = clock();
    srand(seed);

    int Msize=1000, Nloops=10;

    MatrixXd m1=MatrixXd::Random(Msize,Msize);
    MatrixXd m2=MatrixXd::Random(Msize,Msize);
    MatrixXd m3=MatrixXd::Random(Msize,Msize);

    cout << "Starting matrix multiplication test with " << Msize << 
    "matrices" << endl;
    clock_t start=clock();
    for (int i=0; i<Nloops; i++)
        m3=m1*m2;
    start = clock() - start;

    cout << "time elapsed for 1 multiplication: " << start / ((double) 
CLOCKS_PER_SEC * (double) Nloops) << " seconds" <<endl;
return 0;

}

结果是：

Starting matrix multiplication test with 1000matrices
time elapsed for 1 multiplication: 0.148856 seconds
Program ended with exit code: 0

这意味着C ++程序要慢10倍。

或者，我尝试在MAC终端中编译cpp代码：

g++ -std=c++11 -I/usr/local/Cellar/eigen/3.3.5/include/eigen3/eigen main.cpp -o my_exec -O3

./my_exec

Starting matrix multiplication test with 1000matrices
time elapsed for 1 multiplication: 0.150432 seconds

我知道非常相似的question，但是，似乎矩阵定义存在问题。在我的示例中，我使用默认的本征函数根据均匀分布创建矩阵。

谢谢，米哈伊尔

编辑：我发现，虽然numpy使用多线程，但Eigen默认情况下不使用多个线程（由Eigen::nbThreads()函数检查）。如建议的那样，我使用了-march=native选项，将计算时间减少了3倍。考虑到我的MAC上有8个线程，我相信多线程numpy的运行速度快了3倍。

Answer 1

经过长时间艰苦的安装和编译，我已经在Matlab，C ++和Python中执行了基准测试。

我的计算机：MAC OS High Sierra 10.13.6，带有Intel®Core™i7-7920HQ CPU @ 3.10GHz（4核，8线程）。我有Radeon Pro 560 4096 MB，因此这些测试中没有GPU（而且我从未配置过openCL，也没有在np.show_config()中看到它）。

软件： Matlab 2018a，Python 3.6，C ++编译器：Apple LLVM版本9.1.0（clang-902.0.39.2），g ++-8（Homebrew GCC 8.2.0）8.2.0

1）Matlab性能：时间=（14.3 +-0.7）ms，执行10次运行

a=rand(1000,1000);
b=rand(1000,1000);
c=rand(1000,1000);
tic
for i=1:100
    c=a*b;
end
toc/100

2）Python性能（%timeit a.dot(b,out=c)）：15.5 +-0.8

我还为python安装了mkl库。将numpy与mkl链接：14.4 + -0.7-很有帮助，但效果很小。

3）C ++性能。对原始（请参阅问题）代码进行了以下更改：

noalias函数可避免不必要的时间矩阵创建。
时间是使用c ++ 11 chorno库进行测量的

在这里，我使用了一堆不同的选项和两个不同的编译器：

3.1 clang++ -std=c++11 -I/usr/local/Cellar/eigen/3.3.5/include/eigen3/eigen main.cpp -O3

执行时间〜146毫秒

3.2 Added -march=native option:

执行时间〜46 + -2毫秒

3.3 Changed compiler to GNU g++ (in my mac it is called gpp by custom-defined alias):

gpp -std=c++11 -I/usr/local/Cellar/eigen/3.3.5/include/eigen3/eigen main.cpp -O3

执行时间222毫秒

3.4 Added - march=native option:

执行时间〜45.5 +-1毫秒

在这一点上，我意识到Eigen不使用多个线程。我安装了openmp并添加了-fopenmp标志。请注意，在最新的clang版本上，openmp不起作用，因此从现在开始，我必须使用g ++。我还通过监视Eigen::nbthreads()的值并使用MAC OS活动监视器来确保实际上在使用所有可用线程。

3.5  gpp -std=c++11 -I/usr/local/Cellar/eigen/3.3.5/include/eigen3/eigen main.cpp -O3 -march=native -fopenmp

执行时间：16.5±0.7毫秒

3.6最后，我安装了英特尔mkl库。在代码中，使用它们非常容易：我刚刚添加了#define EIGEN_USE_MKL_ALL宏，仅此而已。虽然很难链接所有库：

gpp -std=c++11 -DMKL_ILP64 -m64 -I${MKLROOT}/include -I/usr/local/Cellar/eigen/3.3.5/include/eigen3/eigen -L${MKLROOT}/lib -Wl,-rpath,${MKLROOT}/lib -lmkl_intel_ilp64 -lmkl_intel_thread -lmkl_core -liomp5 -lpthread -lm -ldl   main.cpp -o my_exec_intel -O3 -fopenmp  -march=native

执行时间：14.33 + -0.26毫秒

结论：

Python / Matlab中的矩阵矩阵乘法已得到高度优化。不可能（或者至少很难）做得更好（在CPU上）。
CPP代码（至少在MAC平台上）只有经过全面优化才能实现类似的性能，其中包括全套优化选项和Intel mkl库。我本可以安装具有openmp支持的旧式clang编译器，但由于单线程性能相似（〜46 ms），所以看起来这无济于事。
最好使用本机Intel编译器icc进行尝试。不幸的是，这是专有软件，与Intel mkl库不同。

感谢有用的讨论，

米哈伊尔

编辑：为了进行比较，我还使用cublasDgemm函数对GTX 980 GPU进行了基准测试。计算时间= 12.6 ms，与其他results.兼容以下是CUDA几乎与CPU一样好的原因：我的GPU不能优化为两倍。使用浮点运算时，GPU时间= 0.43毫秒，而Matlab的是7.2毫秒

编辑2：要获得显着的GPU加速，我需要对尺寸更大的矩阵进行基准测试，例如10k x 10k

矩阵乘法性能：C ++（本征）比Python慢得多

1 个答案:

矩阵乘法性能：C ++（本征）比Python慢​​得多

1 个答案:

矩阵乘法性能：C ++（本征）比Python慢得多