我正在尝试通过在医学图像（灰度3D大脑PET扫描）上重新训练InceptionV3来进行迁移学习。
我面临两个挑战：将我的数据从灰度转换为RGB图像，以及将我的3D输入数据格式化为初始架构。
我解决了第一个挑战，即将它们堆叠到3个通道中（将同一图像馈送到网络的所有3个通道）。
第二个挑战仍然是一个问题：网络接受2D图像。当前的图像尺寸为79 x 95 x 79 x 3，而网络会欣然接受79 x 95 x 3尺寸的图像。
解决此问题的一种好方法是将3D图像馈送到网络还是必须将其转换为2D。如何将图像转换为2D？
在一项研究中，使用网格方法从每个3D图像中提取了8个2d图像，并显示为网格图像以进行分类。这是从3D转换为2D的唯一方法，还是有其他选择？
答案 0 :(得分：1)
有两种方法可以解决第二个问题。
快速方法：
找到一种将尺寸缩小到79的方法。
有不同的方法。如您所指出的，一种方法是形成网格。一种替代方法是在这些图像中的几幅上进行最大强度投影（MIP）（示例3或10）。这将取决于您在该维度上的分辨率。我觉得您要描述的图像是CT扫描，在这种情况下，最好不要全部取而代之，而只取属于您要分类的部分的专用图像。
您可以使用相同的全局类描述符将堆栈的一部分作为MIP提供。这可能适合转学。
漫长而又困难的方法：
从头开始查找或重新设计接受3D图像作为输入的体系结构。我不了解有关该主题的最新文献，但是一个很好的起始示例可能是：https://ai.googleblog.com/2020/02/ultra-high-resolution-image-analysis.html?m=1