遇到cuda不可纠正的ECC错误

时间:2012-08-07 05:04:02

标签: crash cuda

我的环境是

  • Windows 7 x64
  • Matlab 2012a x64
  • Cuda SDK 4.2
  • 特斯拉C2050 GPU

我无法弄清楚为什么我的GPU因遇到“无法纠正的ECC错误”而崩溃。仅当我使用512个或更多线程时才会发生此错误。我不能发布内核,但我会尝试描述它的作用。

通常,内核需要许多参数并生成由线程大小M和另一个数字N定义的2个复杂矩阵。因此返回的矩阵的大小为MxN。典型配置为512x512,但每个数字都是独立的,可以向上或向下变化。当数字为256x256时内核工作。

每个线程(内核)基于线程id(即大小为999xM)从2D阵列中提取999大小的向量,然后循环通过输出矩阵的行(0 ... N-1)进行计算。计算了许多中间参数,仅使用+ - * /运算符中的pow,sin和cos。要计算其中一个输出矩阵,需要执行一个额外的循环来总结先前提取的999向量的贡献。此循环执行一些中间计算以确定允许贡献的值的范围。然后通过由计算的分数值的cos和正弦值确定的因子来缩放贡献。这是它崩溃的地方。如果我坚持使用常量值或1.0或任何其他值,内核执行没有问题。但是,当只包含一个调用(cos或sine)时,内核崩溃。

一些伪代码如下:

kernel()
{

/* Extract 999 vector from 2D array 999xM - one 999 vector for each thread. */
for (int i = 0; i < 999; i++)
{
    .....
}

/* Cycle through the 2nd dimension of the output matricies */
for (int j = 0; j < N; j++)
{
    /* Calculate some intermediate variables */

    /* Calculate the real and imaginary components of the first output matrix */
    /* real = cos(value), imaginary = sin(value) */

    /* Construct the first output matrix from some intermediate variables and the real and imaginary components */

    /* Calculate some more intermediate variables */

    /* cycle through the extracted vector (0 .. 998) */
    for (int k = 0; k < 999; k++)
    {

        /* Calculate some more intermediate variables */

        /* Determine the range of allowed values to contribute to the second output matrix. */

        /* Calculate the real and imaginary components of the second output matrix */
        /* real = cos(value), imaginary = sin(value) */
        /* This is were it crashes, unless real and imaginary are constant values (1.0) */

        /* Sum up the contributions of the extracted vector to the second output matrix */

     }
     /* Construct the Second output matrix from some intermediate variables and the real and imaginary components */

}
}

我认为这可能是由于寄存器限制,但占用率计算器表明情况并非如此,我使用的线程数少于32,768个寄存器。任何人都可以就这可能是什么原因提出任何建议吗?

这是ptasx信息:

ptxas info    : Compiling entry function '_Z40KerneliidddddPKdS0_S0_S0_iiiiiiiiiPdS1_S1_S1_S1_S1_S1_S1_S1_S1_' for 'sm_20' 

ptxas info    : Function properties for _Z40KerneliidddddPKdS0_S0_S0_iiiiiiiiiPdS1_S1_S1_S1_S1_S1_S1_S1_S1_ 

8056 bytes stack frame, 0 bytes spill stores, 0 bytes spill loads 

ptxas info    : Function properties for __internal_trig_reduction_slowpathd 

40 bytes stack frame, 0 bytes spill stores, 0 bytes spill loads 

ptxas info    : Used 53 registers, 232 bytes cmem[0], 144 bytes cmem[2], 28 bytes cmem[16]

tmpxft_00001d70_00000000-3_MexFunciton.cudafe1.cpp 

1 个答案:

答案 0 :(得分:8)

“无法纠正的ECC错误”通常是指硬件故障。 ECC是纠错码,一种检测和纠正存储在RAM中的位错误的方法。杂散宇宙射线可以在很长一段时间内每隔一段时间中断一次存储在RAM中的一个位,但“不可纠正的ECC错误”表示RAM存储器中的几个位“错误” - ECC太多而无法恢复原始位值。

这可能意味着您的GPU设备内存中有一个坏的或边缘的RAM单元。

任何类型的边缘电路都不会100%失效,但在大量使用的压力下更容易失效 - 以及相关的温度升高。

有一些诊断工具可以对PC的所有RAM组进行压力测试,以确认或确定哪个芯片出现故障,但我不知道用于测试GPU的器件RAM bank的模拟器。

如果您可以访问具有类似功能的GPU的其他计算机,请尝试在该计算机上运行您的应用程序以查看其行为方式。如果您没有在第二台机器上收到ECC错误,这确认问题几乎肯定在第一台机器的硬件中。如果您在第二台计算机上遇到相同的ECC错误,请忽略我在此处写的所有内容并继续查找您的软件错误。除非您的代码实际上导致硬件损坏,否则两台机器具有相同硬件故障的可能性非常小。