使用TFMOT修剪的模型是否需要重新训练?

时间:2020-11-04 19:03:02

标签: tensorflow deep-learning

我正在尝试使用TFMOT(Tensorflow模型优化工具包)修剪预先训练的模型。是否有必要重新训练修剪的模型以减小gzip的大小? 如果不进行重新训练,模型的gzip大小不会减小

1 个答案:

答案 0 :(得分:0)

是的,需要训练模型来应用剪枝。

在训练过程中,修剪会缓慢地将一些权重减少到零。这个渐进的过程对于保持良好的准确性是必要的,它可以通过特定的 pruning schedule 进行微调。 为获得最佳结果,应将修剪应用于已训练的模型。

Tensorflow 团队目前正在研究如何在没有培训的情况下一次性应用修剪。目标不是生成有用的模型,而是在不重新训练的情况下测量修剪的大小和性能优势。 https://github.com/tensorflow/model-optimization/issues/621