如何计算训练所需的RAM内存？

Question

如何计算训练keras模型所需的RAM内存？我要进行计算，因为在训练模型时有时会遇到超出系统内存的错误。例如，这是我的模型：

this.apply(oNew, aArgs)

Answer 1

假设每个参数都是32位数据类型（单精度浮点数，4个字节）。您的内存使用量应该在以下范围内：（参数数量）* 4B

在这种情况下：271,210 * 4B = 1084840B =〜1MB

但是，要记住一个重要的考虑因素。假设批次大小为1，即您一次加载1个输入。如果您使用最小批量（通常批量大小为32或64），则必须将该内存计算乘以批量大小。如果您正在使用批量梯度下降，则可能在每个批次上都使用了整个数据集。在这种情况下，您的内存需求可能会很大。

此分析受https://datascience.stackexchange.com/questions/17286/cnn-memory-consumption

的启发