在深度学习方法中结合临床和图像数据的最佳方法是什么？

Question

我有来自患者的CT图像，并将CNN应用于这些图像以预测疾病。我想将我的临床数据与CNN方法中的图像数据结合起来，这可能吗？我的临床数据包含年龄，性别，日期，吸烟者等信息，所有这些信息都是数字，例如吸烟者为1，非吸烟者为0。

Answer 1

例如，请查看this paper，它们将CNN中的功能与文本数据相结合。在那篇论文中，CNN已经过预训练（即CNN本质上是一个特征），但你可以一口气清楚地学习。

总是这个想法

• 通过卷积/子采样层运行输入中的图像
• 在您的最终完全连接（决策）层之前，连接您可用的其他功能
• 将所有（预处理的图像和其他功能）提供给决策层。

所以答案是“肯定，肯定”，细节取决于你使用的是哪个框架。

Answer 2

据我所知，CNN非常适合图像数据，但不适用于其他数据。

您的问题的解决方案是使用临床数据“着色”您的图像。 （在图像识别CNN中，通常输入图像分为3个颜色层：红色，灰色和蓝色。请参阅：http://cs231n.github.io/convolutional-networks/）

假设您的输入数据是32x32像素的8位灰度图像（因此为1色图层）。我建议将每个临床数据变量添加为“颜色”层。同一颜色层中的所有输入值应相同。

每一层是否应该与图像大小相同，或者如果你可以使用单个像素，我不确定，但至少你可以将临床数据视为CT图像旁边的“图像”