如何在TensorFlow 2.0中优化微调的BERT模型大小？

Question

对BERT进行微调以进行分类后，模型大小为〜1.3GB，而预先训练的模型大小为〜400MB。发生这种情况的原因是与模型一起保存的与Adam相关的其他变量，并且在保存时可以删除，如https://github.com/google-research/bert/issues/99中针对TensorFlow 1.x所述。

如何在TensorFlow 2.x中执行此操作？

Answer 1

找到了解决方案。经过训练的模型的save()方法将参数include_optimizer作为参数，默认情况下为True。将其设置为False不会保存优化器的状态，并且保存的模型文件与预先训练的文件相当。