我们可以将GPT-2句子嵌入用于分类任务吗？

Question

我正在尝试在句子分类任务中使用变形器嵌入，而无需对其进行微调。我使用了BERT嵌入，这些实验给了我很好的结果。现在，我想使用GPT-2嵌入（无微调）。所以我有两个问题，

1. 我可以使用像这样的GPT-2嵌入吗（因为我知道Gpt-2是 从左到右训练）
2. 在GPT-2中有使用示例吗？ 分类任务而不是生成任务？
3. 如果我可以使用GPT-2嵌入，该怎么办？

Answer 1

我基本上解决了这个问题。在这里，我使用了从GPT-2中提取的嵌入。

1. 是的，我们可以将GPT-2嵌入序列的最终令牌用作类令牌。由于具有从左到右的自我关注机制，因此最终令牌可以表示顺序信息。

2. 请检查以下GitHub问题，了解使用GPT-2嵌入的实现。 github issue

3. 我进行了实验，比较了GPT-2嵌入和RoBERTa嵌入。仅通过RoBERTa嵌入而不是GPT-2，我获得了更好的结果。