基于预训练模型的Mask R-CNN训练时间分配

Question

我正在使用带有coco预训练权重的Mask R-CNN模型在具有32vCPU和120GB RAM的Google Cloud深度学习虚拟机中进行训练，它已经运行了20多个小时，仍然处于时代的1/30。该脚本正在使用后台运行，并且输出保存在.log文件中，该文件自15个小时前就没有更新过。我的数据集包含2050张图像。如何确保模型仍在运行？ Mask R-CNN通常需要多长时间进行培训？

Answer 1

每个纪元要走几步？您的验证集中有多少张图片？如果您将https://github.com/matterport/Mask_RCNN用作网络，它将在一个时期结束时使用验证集对网络进行测试，这可能会花费很长时间，特别是如果您不使用GPU。