标签: apache-spark pyspark text-classification bert-language-model johnsnowlabs-spark-nlp
我看到sparkNLP已经对BERT和elmo嵌入进行了预训练,但是我还无法确定是否有一种方法可以对嵌入进行微调。
我看到有下游任务,但是我不确定是否只是提取BERT嵌入然后将其插入到这些新的下游任务中,或者下游任务是否基于BERT的转换器架构构建(因此允许我们对嵌入进行微调)。
有人可以对此进行解释吗?还有可能进行微调吗?在进行下游任务训练后,如何才能提取新的权重。谢谢。