好文本标记库

Question

什么是优秀的开源C字标记器库？

我正在寻找像

这样的东西

Tokenize("there are three apples. One is orange, the other is blue,"
         " and, finally, the last is yellow!")

输出不包含任何标点符号。

Answer 1

如果唯一的需要是去除标点符号，我会使用for循环来逐字输出（在你的上下文中意味着什么）源字符串，跳过ispunct()个字符串。

Answer 2

我建议使用string.h，{{1}}。

Answer 3

lex / flex是经典的工具，但对于你正在做的事情，它可能有点重量级。