火花NLP中的BERT微调

时间:2020-09-02 20:33:10

标签: apache-spark pyspark text-classification bert-language-model johnsnowlabs-spark-nlp

我看到sparkNLP已经对BERT和elmo嵌入进行了预训练,但是我还无法确定是否有一种方法可以对嵌入进行微调。

我看到有下游任务,但是我不确定是否只是提取BERT嵌入然后将其插入到这些新的下游任务中,或者下游任务是否基于BERT的转换器架构构建(因此允许我们对嵌入进行微调)。

有人可以对此进行解释吗?还有可能进行微调吗?在进行下游任务训练后,如何才能提取新的权重。谢谢。

0 个答案:

没有答案