Question

我正在使用voxelmorph进行肺部图像配准。但是我的火车图像太大，无法馈入网络，图像具有不同的形状，并且形状不规则。有些是513436 ...（不是2的幂），所以我不能直接使用U-NET或其他CNN。

为解决这些问题，我将火车图像分为step = 100的128x128x128子图像。看起来像这样：

在预测阶段，我还将图像分成一些子图像，使用网络预测每个子图像，然后组合结果。但是问题在于子图像的边界在内部区域看起来不同，如下所示：

我的幼稚方法是平滑，但是我发现它不起作用。我认为这是一个普遍的问题。如何解决这个问题？请帮忙。

此数据问题有所不同，因为简单火车图像的形状大于300x300x300。因此，不是整个数据集都太大，一个简单的数据就不会太大。

有一些例子：

(430, 318, 168)  
(434, 354, 349)  
(428, 290, 439)  
(446, 290, 466)  
(452, 382, 373)  
(464, 290, 378)  
(424, 278, 217)  
(308, 202, 109)  
(420, 312, 537)  
(444, 314, 399)  
(418, 368, 323)  
(384, 432, 396)  
(412, 282, 408)  
(314, 188, 239)  
(428, 308, 422)  
(412, 302, 471)  
(276, 158, 127)  
(384, 432, 396)  
(394, 322, 370)  
(412, 322, 289)  
(412, 296, 458)  
(323, 250, 127)  
(448, 296, 431)  
(420, 302, 446)  
(438, 314, 393)  
(386, 424, 386)

像这样的骨网：

def conv_block(x_in, nf, strides=1):
    """
    specific convolution module including convolution followed by leakyrelu
    """
    ndims = len(x_in.get_shape()) - 2
    assert ndims in [1, 2, 3], "ndims should be one of 1, 2, or 3. found: %d" % ndims

    Conv = getattr(KL, 'Conv%dD' % ndims)
    x_out = Conv(nf, kernel_size=3, padding='same',
                 kernel_initializer='he_normal', strides=strides)(x_in)
    x_out = LeakyReLU(0.2)(x_out)
    return x_out

def unet_core(vol_size, enc_nf, dec_nf, full_size=True, src=None, tgt=None, src_feats=1, tgt_feats=1):
    """
    unet architecture for voxelmorph models presented in the CVPR 2018 paper. 
    You may need to modify this code (e.g., number of layers) to suit your project needs.
    :param vol_size: volume size. e.g. (256, 256, 256)
    :param enc_nf: list of encoder filters. right now it needs to be 1x4.
           e.g. [16,32,32,32]
    :param dec_nf: list of decoder filters. right now it must be 1x6 (like voxelmorph-1) or 1x7 (voxelmorph-2)
    :return: the keras model
    """
    ndims = len(vol_size)
    assert ndims in [1, 2, 3], "ndims should be one of 1, 2, or 3. found: %d" % ndims
    upsample_layer = getattr(KL, 'UpSampling%dD' % ndims)

    # inputs
    if src is None:
        src = Input(shape=[*vol_size, src_feats])
    if tgt is None:
        tgt = Input(shape=[*vol_size, tgt_feats])
    x_in = concatenate([src, tgt])


    # down-sample path (encoder)
    x_enc = [x_in]
    for i in range(len(enc_nf)):
        x_enc.append(conv_block(x_enc[-1], enc_nf[i], 2))

    # up-sample path (decoder)
    x = conv_block(x_enc[-1], dec_nf[0])
    x = upsample_layer()(x)
    x = concatenate([x, x_enc[-2]])
    x = conv_block(x, dec_nf[1])
    x = upsample_layer()(x)
    x = concatenate([x, x_enc[-3]])
    x = conv_block(x, dec_nf[2])
    x = upsample_layer()(x)
    x = concatenate([x, x_enc[-4]])
    x = conv_block(x, dec_nf[3])
    x = conv_block(x, dec_nf[4])

    # only upsampleto full dim if full_size
    # here we explore architectures where we essentially work with flow fields 
    # that are 1/2 size 
    if full_size:
        x = upsample_layer()(x)
        x = concatenate([x, x_enc[0]])
        x = conv_block(x, dec_nf[5])

    # optional convolution at output resolution (used in voxelmorph-2)
    if len(dec_nf) == 7:
        x = conv_block(x, dec_nf[6])

    return Model(inputs=[src, tgt], outputs=[x])

有一篇文章引用了CNN中的大图像，A New Approach to Compute CNNs for Extremely Large Images。它使用自适应填充解决了边界问题，但描述不清楚。我认为这类似于重叠策略。

Answer 1

如果可以通过将形状的大小设为2的倍数来解决您的问题，建议您使用openCV。

您可以简单地通过添加白色/黑色边框来扩展图像。您还可以缩放图像，具体取决于哪种情况下效果更好。

另一个选项-运行ImageMagic以增加较小图像的图像大小。示例：

magick convert -resize 400% smallImage.png Enlarged.png

这会将较小图像的尺寸增加4倍。

Answer 2

解决方案

您好@ruokuanwu，这是一个非常普遍的问题，我们需要在深度学习中训练大量数据，而我们无法一次将所有这些数据存储到我们的内存中。数据可能以太字节为单位，以便解决此问题，keras具有flow_from_directory的功能，通过此功能，keras将能够直接从磁盘中提取批次。现在，我们不必一次上传所有数据。此功能将磁盘中的一批内容加载到内存中，并将其馈送到模型中进行处理。这样就解决了大数据集训练问题。

您可以在此处看到通过Image Generator转换的示例。

Example Notebook Kaggle Link

要求：

如果您要进行图像分类，则必须将每个类放在单独的文件夹中，并提供单独的类文件夹所在的父文件夹的路径。

Answer 3

使用U-net模型，可以将输入分成多个部分并分别进行处理。

要注意的一件事是图像的边框：将256x256分成4个图像128x128可能会在分割时产生明显的边框（图像中心的十字）。为避免这种情况，将图像略微重叠并忽略边框是有意义的。

换句话说。对于尺寸为256x256的图像，而适合内存的最大输入为128，请遵循以下算法：

选择边框大小。对于具有4个下采样层的Unet，合理地选择与2 ^ number_of_downsamplings = 2 ^ 4 = 16成比例的边界。
将输入图像拆分为96x96的正方形，其中96 = 128-2 * border_size
对于每个正方形，从原始图像的每一侧附加另一个16px。产生的图像为128x128
处理完图像后，切出96x96的内部正方形，并用它缝制最终的预测。

当火车图像太大而无法一次馈入网络时，该如何进行？

3 个答案: