Question

当我使用TensorFlow-GPU + Python多处理时，我注意到了一种奇怪的行为。

我已经实现了DCGAN一些自定义和我自己的数据集。由于我将DCGAN调节为某些功能，因此我有训练数据和测试数据以供评估。

由于我的数据集的大小，我编写了数据加载器，它们使用Python multiprocessing并发运行并预加载到队列中。

代码的结构大致如下：

class ConcurrentLoader:
    def __init__(self, dataset):
        ...

class DCGAN
     ...

net = DCGAN()
training_data = ConcurrentLoader(path_to_training_data)
test_data = ConcurrentLoader(path_to_test_data)

此代码在使用CUDA 8.0的TensorFlow-GPU＆lt; = 1.3.0上的TensorFlow-CPU 和上运行良好，但是当我使用 TensorFlow-GPU 1.4运行完全相同的代码时。 1和CUDA 9 （截至2017年12月TF＆amp; CUDA的最新版本）它崩溃了：

2017-12-20 01:15:39.524761: E tensorflow/stream_executor/cuda/cuda_blas.cc:366] failed to create cublas handle: CUBLAS_STATUS_NOT_INITIALIZED
2017-12-20 01:15:39.527795: E tensorflow/stream_executor/cuda/cuda_blas.cc:366] failed to create cublas handle: CUBLAS_STATUS_NOT_INITIALIZED
2017-12-20 01:15:39.529548: E tensorflow/stream_executor/cuda/cuda_blas.cc:366] failed to create cublas handle: CUBLAS_STATUS_NOT_INITIALIZED
2017-12-20 01:15:39.535341: E tensorflow/stream_executor/cuda/cuda_dnn.cc:385] could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
2017-12-20 01:15:39.535383: E tensorflow/stream_executor/cuda/cuda_dnn.cc:352] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
2017-12-20 01:15:39.535397: F tensorflow/core/kernels/conv_ops.cc:667] Check failed: stream->parent()->GetConvolveAlgorithms( conv_parameters.ShouldIncludeWinogradNonfusedAlgo<T>(), &algorithms) 
[1]    32299 abort (core dumped)  python dcgan.py --mode train --save_path ~/tf_run_dir/test --epochs 1

让我感到困惑的是，如果我只删除test_data，则不会发生错误。因此，出于一些奇怪的原因，TensorFlow-GPU 1.4.1＆amp; CUDA 9仅使用一个ConcurrentLoader，但在多个加载器初始化时崩溃。

更有趣的是（在例外之后）我必须手动关闭python进程，因为GPU的VRAM，系统的RAM甚至python进程在脚本崩溃后仍然存活。

此外，它必须与Python的multiprocessing模块有一些奇怪的联系，因为当我在Keras中实现相同的模型（使用TF后端！）时，代码运行得很好，有2个并发加载器。我猜Keras在某种程度上创造了一个抽象层，使TF不会崩溃。

我可能在哪里搞砸了导致崩溃的multiprocessing模块？

这些是在multiprocessing：

中使用ConcurrentLoader的代码部分

def __init__(self, dataset):
    ...
    self._q = mp.Queue(64)
    self._file_cycler = cycle(img_files)
    self._worker = mp.Process(target=self._worker_func, daemon=True)
    self._worker.start()

def _worker_func(self):
    while True:
        ... # gets next filepaths from self._file_cycler
        buffer = list()
        for im_path in paths:
            ... # uses OpenCV to load each image & puts it into the buffer
        self._q.put(np.array(buffer).astype(np.float32))

......就是这样。

我在哪里写过“不稳定”或“非pythonic”multiprocessing代码？我认为daemon=True应该确保每个进程在主进程终止后立即被杀死？不幸的是，这种特定错误不是这种情况。

我是否在此处滥用默认multiprocessing.Process或multiprocessing.Queue？我想只是编写一个类，我将批量图像存储在一个Queue中，并通过方法/实例变量访问它应该没问题。

Answer 1

尝试使用tensorflow和多处理时，我遇到了同样的错误

E tensorflow/stream_executor/cuda/cuda_blas.cc:366] failed to create cublas handle: CUBLAS_STATUS_NOT_INITIALIZED

但在不同的环境中tf1.4 + cuda 8.0 + cudnn 6.0。示例代码中的matrixMulCUBLAS工作正常。我也想知道正确的解决方案！参考failed to create cublas handle: CUBLAS_STATUS_NOT_INITIALIZED on a AWS p2.xlarge instance对我不起作用。

使用TensorFlow-GPU + Python多处理时的错误？

1 个答案: