如何使用keras深度学习对图像序列进行分类

Question

我想用Keras为CT图像序列创建分类模型。我的数据集从50位患者获得，每位患者都有1000张图像。对于患者而言，每个图像都与先前的图像具有有意义的关系。我想使用这些有意义的关系，所以我不知道如何为此类问题建立模型。你能给我一个想法或例子吗？

Answer 1

您的问题在序列分类中。您需要对图像序列进行分类。在这种情况下，需要一个模型来学习两个方面：

1. 图像的特征
2. 序列的特征（与时间或时间相关的特征）

  

这听起来类似于视频分类，其中视频是几帧的序列。参见here。

用于从图像提取特征：

大多数实际案例使用卷积神经网络。他们使用Max Pooling和Convolution等图层。它们擅长从3D输入中提取特征（例如图像）。您可以从here了解更多信息。

用于处理时间数据：

在这里您将需要RNN（递归神经网络）。 LSTM（长短期记忆）细胞是流行的RNN，因为它们可以比传统RNN拥有更强的记忆力。

  

RNN保留隐藏层激活，并将其用于处理序列中的每个术语。因此，在按顺序处理第二张图像时，RNN会以相同的顺序了解或激活第一张图像。

您可以从here了解更多信息。

最后，我们需要将上述两个网络进行融合：

CNN-LSTM网络同时使用卷积和LSTM单元对图像序列进行分类。

您可以参考here和here

希望对您有帮助。 ：-）