如何从零开始训练gpt 2？

Question

我想从头开始训练gpt 2，但是在发现的文章中只有基于预训练模型的微调方法。 我已将此https://github.com/nshepperd/gpt-2用于现有模型的训练。我应该编辑这些Python脚本以从头开始训练吗？

Answer 1

我在此仓库https://github.com/nshepperd/gpt-2的“问题”中找到了答案

  

如果您根本不想使用已发布的模型，例如因为   您想训练具有不兼容超参数的模型，它应该   足以跳过从已发布模型进行的还原   首次运行时的检查点（在train.py:164-177附近），因此   参数将全部随机初始化。