我正在尝试在这里浏览新教程：https://huggingface.co/blog/how-to-train，但是在尝试加载ByteLevelBPETokenizer时遇到错误。我从现有的conda env开始，还尝试了一个全新的env，但是都给出了相同的错误：
Exception has occurred: ImportError
cannot import name 'ByteLevelBPETokenizer' from 'tokenizers' (/home/james/anaconda3/envs/torch/lib/python3.7/site-packages/tokenizers/__init__.py)
关于什么地方可能出什么问题的任何想法？
我使用的是Ubuntu 18.04，Python 3.7
答案 0 :(得分：2)
好的，事实证明transformers安装程序会拉出旧版本（0.0.11）。所以...
pip uninstall tokenizers
pip install tokenizers==0.4.2
...修复它。
它确实发出警告：ERROR: transformers 2.4.1 has requirement tokenizers==0.0.11, but you'll have tokenizers 0.4.2 which is incompatible.，但是可以放心地忽略它（此答案来自@julien-c的拥抱脸/令牌使用者）。