我遵循本教程 How to train a new language model from scratch using Transformers and Tokenizers。
在第 2 节训练一个分词器，用我自己的越南语文本数据训练后，我看生成的 .vocab 文件，所有的词都变成这样：
"ĠÄij":268,"nh":269,"ủ":270,"Ãł":271,"Ġch":272,"iá»":273,"á":274,"Ġl":275,"Ġb":276,"Æ°":277,"Ġh":278,"ế":279,
有什么办法解决这个问题吗？