转换为csr_matrix后，将权重重新加载到fc层

Question

我试图以压缩的稀疏行格式在fc图层中存储权重。当我检索权重并将它们转换为CSR矩阵格式时，它在内存中的大小会大幅减少但是当我将其加载回caffe时，我的模型大小保持不变。基本上这就是我正在做的事情：

temp2 = net.params['ip1'][0].data.shape
sparse_csr1 = sparse.scr_matrix(temp2, shape)
net.params['ip1'][0].data[...] = sparse_csr1
net.save('compressed.caffemodel')

任何建议都将受到赞赏。

Answer 1

Caffe不支持稀疏matices，因此你不能从权重的稀疏压缩中受益。

Answer 2

看起来这些repos对于inner-product和conv层都是如此：

• https://github.com/IntelLabs/SkimCaffe
• https://github.com/valeriifilevsc/caffe