卷积神经网络和3D图像

Question

我有兴趣将CNN应用于3D图像（即医学数据）。 TensorFlow是否已经包含此功能？

Answer 1

TensorFlow现在支持主分支中的3D convolution和3D pooling。

您可以将它们与5D张量一起用作形状为[batch_size, depth, height, width, channels]的输入。

Answer 2

不，当前的实现是针对2D图像（像nn.conv2d这样的函数）。它们支持多个通道（例如RGB），并且可以将3D图像表达为多通道2D图像（每个z切片是通道），但这并不总是理想的。此外，对于使用这些方法，您需要大量的图像数据，这些数据通常很难在医疗领域获得。

更新：TensorFlow和Theano（后来的Keras，Lasagne等）现在都支持如上所述的3D操作。值得注意的是，与类似的2D操作相比，3D操作的计算和内存密集程度更高。

Answer 3

3D卷积神经网络的TensorFlow实现已提供以下开源项目：

Lip Reading - Cross Audio-Visual Recognition using 3D Convolutional Neural Networks

Using 3D Convolutional Neural Networks for Speaker Verification

Answer 4

如果您想将CNN与3D图像一起使用，可能的替代方法是使用此Caffe PR。 您需要将数据转换为HDF5格式。