标签： nlp jupyter-notebook token tokenize
如何将word_tokenize应用于已应用send_tokenize的列？我有一个主题列和一个我创建的列，称为“令牌”。
使用：
cases['tokens'] = cases.Subject.apply(lambda subj: sent_tokenize(subj))
我能够创建一个名为“ tokens”的新列，并将send_tokenize应用于主题列，然后将输出放置在新列（token）中。如何将word_tokenize应用于“令牌”列？