perl中的令牌是什么？

Question

我的任务是打开并读取文件，从中删除所有逗号，句号，空格和感叹号。此外，我必须通过将单词作为散列并将出现次数作为值并且单词是键来显示每个单词的单词出现次数。例如，在一个说“Perl Program，Perl Program”的文档中。 Perl和program是关键，其中值为n

词-----计数

的Perl ------ 2

方案--- 2

教练已经发布了指示，但在他们提到的时候，“将线分成了令牌并存储了阵列”。如果我知道代币是什么的话，我想我可以做到这一点，那么有人可以解释一下令牌是什么吗？

Answer 1

根据Wikipedia

  

令牌是一串字符，根据规则进行分类   作为符号（例如，IDENTIFIER，NUMBER，COMMA）。

Perl中没有标记的特殊含义。

Answer 2

在这种情况下，一个令牌很可能是一个由特殊字符分解的单词/符号，它将是你应该忽略的所有字符。

这意味着在您的示例中，您拥有的令牌将是（按顺序）

Perl
Program
Perl
Program

但在另一个没有像

那样间隔的例子中

"Perl!ProgramHello,Name.GoodBye>ASFDKLDJ"

令牌将是

Perl
ProgramHello (even though this is two english words)
Name
GoodBye
ASFDKLDJ

你应该向你的教授澄清你必须分开你的代币。

Answer 3

从一些以空格作为标准字定界符的文本文件开始，说明没有说在删除空格和标点符号时不能替换其他定界符。