将 IOB 转换为 spacy JSON 需要花费大量时间(IOB 有 100 万行)

时间:2021-06-23 17:49:04

标签: nlp google-colaboratory spacy ner spacy-pytorch-transformers

我只需要一点指导,即有 3 个 IOB 文件开发、测试和训练。 Dev 有 100 万行。 测试有 400 万行。 火车有 3000 万。 我目前只是在转换开发文件,因为我不确定其中是否有任何错误。 (IOB 格式是正确的)到目前为止已经超过 3 小时,现在可以知道这个文件是否有效,或者我应该使用其他东西。

我正在 google colab 中使用 spacy 微调 bert 模型,选择的运行时硬件是 GPU 和 ,作为参考,我已关注这篇文章:

https://towardsdatascience.com/how-to-fine-tune-bert-transformer-with-spacy-3-6a90bfe57647

我已按照文章的具体步骤进行操作。

我不熟悉 NLP 领域,也没有深厚的流水线知识。有人可以帮忙解决这个问题吗,这真的很重要。

下面我将附上有关时间的图像和为转换而执行的语句。 Image showing time elapsed and command executed

0 个答案:

没有答案
相关问题