我正在尝试构建一个程序，该程序可以识别特定文本（银行交易）中的实体。我已经培训了斯坦福大学的NER，但是在标记数据时遇到了一些问题。令牌化非常重要，因为事务非常具体，有时逗号应作为定界符，有时不应在同一事务中。例如，如果商家名称用逗号“ Merchant，McDonald's”分隔，则应拆分为[“ Merchant”，“ McDonald's”]，但当金额指定为“ USD100,000.00”时，应保留为“ USD100,000.00” ”。所以我认为我应该训练一个将令牌化交易的模型，然后NER将标记实体，例如商家名称，金额，日期等
Stanford-NLP是否使我能够训练令牌化模型，然后创建一个管道，该管道将首先对事务进行令牌化，然后将其运行到NER模型中以标记数据？如果是，该怎么办？