在AllenNlp管道中的何处添加SentencePiece标记化？

Question

我是allennlp的新手，我在管道中使用句子对子词进行标记化。

SentencePiece需要训练步骤才能生成子词模型，然后可以将其用于标记化。

是Vocabulary类的正确实现方式。鉴于有用于字符标记化的TokenIndexers等，对于是否在正确的位置几乎没有什么困惑。