标签： tensorflow optimization gpu
我正在构建一个由2个隐藏的FC层组成的nn，其中权重是张量[19000,19000]（我不能让它们变小）。
当我在CPU上运行网络的所有内容而在GPU上只运行优化器（adagrad）时，我很好（分配的内存为8990B）。由于我还需要剪切权重，因此我在两个层中的权重（而不是偏差）上应用函数tf.clip_by_value（）。截至目前，分配的内存超过了GPU的12GB专用内存。
有没有办法可以将优化器拆分到多个GPU或cpu和GPU上？