与内存相关的CUDNN_STATUS_INTERNAL_ERROR

时间:2020-10-26 19:24:38

标签: python keras cnn cudnn

我正在尝试在keras中运行一个模型,该模型包含2k项的大型图像数据集,大约3GB。 (RTX2080上的Keras 2.3.1,TF 1.14.0,CUDA 10.0,CuDNN 7.4)。 每当我尝试运行它时,都会出现以下错误:

2020-10-26 19:12:47.286751: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcublas.so.10.0
2020-10-26 19:12:47.447483: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcudnn.so.7
2020-10-26 19:12:48.102455: E tensorflow/stream_executor/cuda/cuda_dnn.cc:329] Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
2020-10-26 19:12:48.104974: E tensorflow/stream_executor/cuda/cuda_dnn.cc:329] Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

无论我缩小模型大小有多大,还是仅将数据集的一小部分传递给网络,都将解决相同的错误。

1 个答案:

答案 0 :(得分:0)

您是否尝试过重新启动PC?这使我避免了许多神秘的CUDNN错误。

当我在另一个正在运行的进程中导入TF时(例如在PyCharm中的控制台中),我也看到类似的错误,但是您也可以通过重新启动来解决此问题。

如果那不能解决问题,请尝试TensorFlow网站上的一些教程/示例代码,这将确认或否认是您的代码导致了问题。如果TensorFlow仍然存在相同的问题,那么我将尝试重新安装环境。如果您没有遇到比最佳选择更好的问题,则尝试将其范围尽可能缩小,然后发布最少的可运行代码示例,以使您的错误出现在问题中。