如何在C ++中对字符串进行标记（如Python中的ply.lex）？

Question

如何使用C ++轻松地对文档或字符串进行标记？ 我熟悉Python中的ply.lex模块，但我找不到C ++的任何内容。是否有可以使用lex和yacc的C ++库？或者是否有其他更好的图书馆或方式可以轻松完成这项工作？

Answer 1

flex和lex相当于ply.lex。 flex的示例：

%{
#include <stdio.h>
%}

%option noyywrap

%%
"+"               { puts("token: +"); }
"-"               { puts("token: -"); }
[0-9]+            { printf("token: %s\n", yytext); }
" "               { /* empty */ }
[\n|\r\n\t]       { /* empty */ }
.                 { fprintf(stderr, "Tokenizing error: synatx error '%c'\n", *yytext);
                    yyterminate(); }
%%

int main(int argc, char **argv)
{
  yylex();
  return 0;
}

编译：

> flex example.l
> gcc -Wall lex.yy.c -o lex
> lex
100 - 2 + 34
token: 100
token: -
token: 2
token: +
token: 34
>