在Hackingface的pytorch-transformers库中微调GPT-2

时间:2019-07-25 14:53:00

标签: python deep-learning nlp pytorch transformer

我正在微调拥抱面的GPT-2 PyTorch模型。
https://github.com/huggingface/pytorch-transformers/tree/master

我阅读了他们文档中的'示例'部分,其中显示了在RocStories数据集上训练旧GPT模型的示例。
https://huggingface.co/pytorch-transformers/examples.html#fine-tuning

我想知道如何对GPT-2进行这种培训。另外,我的数据集没有“评估集” 。我只是想微调我的数据集上的GPT-2,然后使用它来生成与被微调的数据集“相似”的新文本。

我很确定我在文档中的某些地方缺少什么。 如果有人能指出正确的方向,我将感到很高兴。

0 个答案:

没有答案