pytorch项目，CUDNN_STATUS_INTERNAL_ERROR：遇到非法的内存访问

Question

我从DataLoader获取批处理数据。数据集的长度不能被批量大小整除。所有批次均运作良好，期待最后一批。如果在实例化DataLoader实例时设置“ drop_last = True”，则不会出现错误。

我的数据集长度为11522，批大小为32。所以最后一批的长度为2。我使用两个GPU。

我在Google上搜索了一个小时，有人说rm -r ~/.nv，然后重新启动计算机。但是我的代码在服务器上运行，我无法重新启动它。也有人说要设置cudnn.benchmark = False。但是在其他项目上使用相同的语句效果很好。

为什么会遇到错误？这让我很烦恼，我实际上不想删除最后两个数据。

我的pytorch版本是0.3.1。而且我确实使用了DataParallel。

我打印数据的形状如下所示