CUDA运行时错误:未指定的启动失败&超出范围的共享或本地地址

时间:2013-03-12 19:35:57

标签: c++ cuda

我在一个拥有1GB全局内存的GPU上运行此程序。它给出了以下错误:

Fatal error: cudaMemcpy1 error (unspecified launch failure at CheckDevice.cu:27)
*** FAILED - ABORTING
========= Out-of-range Shared or Local Address
=========     at 0x000006a8 in grid::SetSubgridMarker(grid*, grid*)
=========     by thread (0,0,0) in block (0,0,0)
=========     Device Frame:SetAllFlags_dev(param_t*, grid*) (SetAllFlags_dev(param_t*, grid*) : 0x108)
=========     Device Frame:SetAllFlags(param_t*, grid*) (SetAllFlags(param_t*, grid*) : 0x38)
=========     Saved host backtrace up to driver entry point at kernel launch time
=========     Host Frame:/usr/lib/libcuda.so (cuLaunchKernel + 0x3dc) [0xc9edc]
=========     Host Frame:/usr/local/cuda/lib64/libcudart.so.5.0 [0xa18a]
=========     Host Frame:/usr/local/cuda/lib64/libcudart.so.5.0 (cudaLaunch + 0x17f) [0x2f4cf]
=========     Host Frame:Transport [0xd395]
=========     Host Frame:Transport [0xd7bd]
=========     Host Frame:/lib/x86_64-linux-gnu/libc.so.6 (__libc_start_main + 0xed) [0x2176d]
=========     Host Frame:Transport [0x17bd]
=========
========= Program hit error 4 on CUDA API call to cudaMemcpy 
=========     Saved host backtrace up to driver entry point at error
=========     Host Frame:/usr/lib/libcuda.so [0x26a180]
=========     Host Frame:/usr/local/cuda/lib64/libcudart.so.5.0 (cudaMemcpy + 0x271) [0x348e1]
=========     Host Frame:Transport [0x2cea]
=========     Host Frame:Transport [0x3769]
=========     Host Frame:Transport [0xd7ee]
=========     Host Frame:/lib/x86_64-linux-gnu/libc.so.6 (__libc_start_main + 0xed) [0x2176d]
=========     Host Frame:Transport [0x17bd]
=========
========= Program hit error 4 on CUDA API call to cudaGetLastError 
=========     Saved host backtrace up to driver entry point at error
=========     Host Frame:/usr/lib/libcuda.so [0x26a180]
=========     Host Frame:/usr/local/cuda/lib64/libcudart.so.5.0 (cudaGetLastError + 0x1e6) [0x2a046]
=========     Host Frame:Transport [0x2cef]
=========     Host Frame:Transport [0x3769]
=========     Host Frame:Transport [0xd7ee]
=========     Host Frame:/lib/x86_64-linux-gnu/libc.so.6 (__libc_start_main + 0xed) [0x2176d]
=========     Host Frame:Transport [0x17bd]
=========
========= ERROR SUMMARY: 3 errors

对于未指定的启动失败错误,相关的代码行是cudaMemcpy操作:

cudaMemcpy(CurrentGrid, Grid_dev, sizeof(grid), cudaMemcpyDeviceToHost);
cudaCheckErrors("cudaMemcpy1 error");

然后如错误消息所示,它说Out-of-range Shared or Local Address at 0x000006a8 in grid::SetSubgridMarker(grid*, grid*)。是因为设备上的全局内存耗尽了吗?有没有办法在设备上返回内存使用情况?

在源代码中,checkDevice.cu在grid :: SetSubgridMarker之后执行,checkDevice不会在设备上占用太多内存空间,所以我猜测(但没有多少信心)它耗尽内存grid::SetSubgridMarker这样就没有空间来启动cudaMemcpy操作了。有什么建议?非常感谢!

2 个答案:

答案 0 :(得分:7)

未指定的启动失败不是由于cudaMemcpy操作造成的。这是紧接在该操作之前的内核启动的“遗留”错误。

内核启动失败可能是因为您正在使用cuda-memcheck运行代码而报告的内存越界访问。

您应该检查SetSubGridMarker中的内核代码,以获得对共享或本地内存的无效访问。

这些都不意味着您的设备上的全局内存不足。

如果我在C中有一个这样的数组:

int C[5];

然后我尝试访问这样的元素:

int temp = C[6];  

这是一个越界访问。您正在访问定义的变量存储的末尾。这并不意味着你“失去了记忆”。

您的SetSubGridMarker代码中正在发生类似这样的事情。你需要找出它是什么并修复它。 cuda-memcheck也通过告诉你块(0,0,0)中的线程(0,0,0)正在进行非法访问而给你一个线索。通过仔细查看此线程如何索引存储在本地或共享内存中的数据,您应该能够发现错误。

您还可以使用描述here之类的方法让cuda-memcheck识别产生错误的特定内核代码行。

答案 1 :(得分:2)

这是一个范围异常,而不是内存异常。这意味着,您正在访问不属于任何有效(即静态或动态分配)内存范围的内存。 最常见的原因是数组的偏移量太大或太大,或指针未正确初始化。

如消息所示,错误是在grid::SetSubgridMarker()内引起的。但是,由于内核调用是异步的,因此在下一次CUDA调用之前无法报告错误,这恰好是cudaMemcpy()