使用BERT调整文本嵌入？

Question

在对分类任务进行微调时，文字镶嵌也进行了微调吗？还是对编码进行微调（最后一层）？

Answer 1

如果您使用的是Google发布的the original BERT repository，则所有层都是可训练的；含义：完全不冻结。您可以通过打印tf.trainable_variables()进行检查。