如何创建令牌列表并插入出现次数

时间:2019-07-14 19:14:47

标签: python-3.x anaconda tokenize

我需要编写一个Python代码,该代码读取一个字符串并计算每个预定令牌的出现次数。

例如:

str =“此<>是='insmple'INSERT”

  • 令牌----------------------------出现次数
  • 操作员(> <=)------------------------ 3
  • 双引号('anything')----------- 1
  • 表处理(INSERT等)----- 1
  • OtherWords(这是一个)----------- 3

这应该是一张桌子...

我看过[...中的令牌的令牌],但它似乎为每个单独的事件生成一个令牌,并且我想使每个事件都成为预定组的一部分。

我不知道我是否能很好地解释它,因此,如果需要更多信息,请告诉我。

0 个答案:

没有答案