无法导入clean_up_tokenization,bert标记程序

时间:2020-06-12 14:11:32

标签: pytorch transformer bert-language-model

我正在尝试使用fairseq进行机器翻译,并使用bert作为令牌生成器。我从源代码安装了pytorch-transformers。但是我无法导入一个函数clean_up_tokeinization。

从pytorch_transformers.tokenization_utils导入clean_up_tokenization

尽管,我可以导入pytorch_transformers.tokenization_utils,而tokenization_utils具有clean_up_tokenization函数。我无法导入。

有人可以帮助我导入此功能吗?预先感谢。

0 个答案:

没有答案