当batchsize = 1时，如何使用多个GPU？

Question

我正在尝试训练深度CNN模型进行语义分割。由于模型大小和输入图像的分辨率很大，即使batchsize = 1，它也会耗尽内存。在这种情况下，如何使用多个GPU来获取更多可用内存？ （目前我正在使用caffe） 感谢。

Answer 1

Dale 已经给出了基本答案：Caffe不支持模型并行性。

您可以选择减小输入大小吗？缩小图像（丢失分辨率）或将图像分解成碎片（丢失全图像内聚）是否有意义？这会使输入和模型合适吗？如果您已经在Caffe中对模型进行了编码和调试，那么至少对当前系统上的拓扑结构进行烟雾测试会很不错。