GPU计算：迷你批量梯度下降需要多少VRAM？

Question

我想用NVIDIA卡进行一些GPU计算，并决定使用带有2GB或4GB内存的GTX 960。我应该选哪一个？根据我可用于小批量梯度下降的批量大小，它们会产生多大的差异？这种差异会显着吗？

感谢您的回答。

Answer 1

最昂贵的操作之一是向/从GPU设备处理数据。因此，如果您预计使用> 2GB的数据集，那么较大的内存将会带来很大的好处。如果需要频繁评估，您可以一次存储大块数据（一些多个小批量大小），和/或可能存储整个保留数据集。当然，你总是可以使用异步拷贝到/从gpu（如果设备支持它）或其他optimizations，并且当然可以使用较小的mem;但是，这会增加一些额外的复杂性，您使用的任何工具包（如果适用）可能无法利用此功能。