如何将bert + crf知识提取到较小的网络中进行序列标记

时间:2019-08-06 06:00:29

标签: deep-learning lstm crf

我正在使用BERT-BILSTM-CRF模型进行序列标记。我现在想要的是将重型模型提炼成更小的模型,如lstm-crf。在调查了相关论文之后,我发现几乎所有解决方案都基于softmax输出而不是crf输出。 crf输出蒸馏有解决方案吗?

0 个答案:

没有答案