微调任务的想法仅在拥抱面部变压器中初始化解码器

时间:2020-04-05 02:03:27

标签: seq2seq huggingface-transformers

我发现拥抱中的PretrainedEncoderDecoder类https://github.com/huggingface/transformers/blob/master/src/transformers/modeling_encoder_decoder.py必须同时初始化编码器和解码器。我的任务是训练其他东西作为编码器,并使用GPT2作为解码器。这是否意味着我不能使用拥抱脸?我还有其他课程吗?我已经搜索了很长时间,但目前没有可行的结果。赞赏任何实际建议。

0 个答案:

没有答案