MemoryError:训练StyleGan2时,无法为形状(16384、30720、3)和数据类型float32的数组分配5.62 GiB

时间:2020-06-11 04:30:55

标签: python tensorflow

关于tensorflow 1.15,python3.7的训练。 目前,我正在自定义数据集上训练stylegan2,该数据集由30000张图像组成,每张图像256 x256。由于gan创建了不同的tf记录文件,每个记录文件的大小均为2 ^ x。仅出于上下文考虑,第8个tf记录(原始256x256图像)为5Gb,其余均为超小(均小于1 GB)。 我当前的设置是P100、16 gigs VRam,32 gb ram和足够的存储空间。我也2vCpus(在gcp上训练)。

如上所述,我遇到了此错误。最初,我的内存是13个演出,在多次看到确切的错误之后,我将内存逐步提高到最终的32 GB。

任何人和所有“指针”都将有所帮助(请注意指针的双关语哈哈)

1 个答案:

答案 0 :(得分:0)

好的,我解决了。我用于传输学习的.pkl文件存在问题。使用包含一个模型的pickle文件,该模型的识别符以图像形状的输入层(例如256x256)开头。