如何为生物医学视频分析进行预训练/选择CNN

Question

数据 我正在尝试通过一个非常专门的任务（流量预测）在生物医学领域训练一个模型。 我的输入内容包括视频片段，我想预测单个图像或视频。我对视频的每一帧都有像素明智的地面真理，但是视频的数量非常有限。 但是，我确实有很多未标记的相关场景数据，这就是为什么我考虑进行某种形式的转移学习/预训练。

建筑 在架构方面，我正在考虑CNN，RNN组合，其中CNN为RNN提供输入帧的表示，以了解输入帧之间的时间关系。

现在我的问题是：我使用哪种CNN，并对其进行预训练？由于我正在使用生物医学数据，因此我会假设图像网络以及大多数其他图像数据集并没有真正的帮助，因为图像内容非常不同。我可以为此目的使用任何数据集/任务/网络吗？

Answer 1

如果没有大量标记数据，但是有大量未标记数据，则有人建议使用浅层自动编码器对网络进行预训练。可以参考Géron的书“使用Scikit-Learn和TensorFlow进行动手机器学习”，但在线上也有很多文章和教程。