我目前正在通过正则表达式（不允许使用nltk）进行令牌化。我试图自己生成代码，但结果很差。基本上从像这样的文本中： 布朗先生打开门说道。 笑着说：“我简直不敢相信！ 见！”“
输出应如下所示： ['先生'，'布朗'，'打开'，''，'门'，'和'，'说'， “与”，“ a”，“微笑”，“，”，“ I”，“ ca”，“ n't”，“ 相信它 ' ， ' ！ '，'It'，''s'，'a'，'joy'，'to' ， ' 再见 ' ， ' ！ '，'“']
有一些要点：
那是我的代码，没有给我任何结果。
string = re.compile (r'[n][\w]+|[\w]+(?!')(?:[A-Za-mo-z](?='))?|(?<=\s)[\w](?=)|[^\s\w'][A-Z]?\w+|[;.,!?:]|\')