FLEX:有没有办法一次返回多个令牌

时间:2009-02-22 09:11:13

标签: regex flex-lexer lexical-analysis

在flex中,我想为正则表达式的一个匹配返回多个标记。有没有办法做到这一点?

3 个答案:

答案 0 :(得分:3)

我这样做的方法是创建一个待返回令牌的队列,并在yylex()的开头检查令牌并返回它们。

答案 1 :(得分:0)

你的意思是所有的比赛?您使用的是正则表达式函数还是字符串函数?使用全局标记。

至于flex,我认为你不能这样做。您一次测试一个模式的匹配,以便可能超出范围。你为什么要这样?作为优化?范围问题?

答案 2 :(得分:-1)

通常,这由扫描程序顶部的解析器处理,为您提供更清晰的代码。您可以在某种程度上模仿状态:

%option noyywrap

%top {
#define TOKEN_LEFT_PAREN    4711
#define TOKEN_RIGHT_PAREN   4712
#define TOKEN_NUMBER        4713
}

%x PAREN_STATE
%%
"("         BEGIN(PAREN_STATE); return TOKEN_LEFT_PAREN;
<PAREN_STATE>{
   [0-9]+   return TOKEN_NUMBER;
   ")"      BEGIN(INITIAL); return TOKEN_RIGHT_PAREN;
   .|\n     /* maybe signal syntax error here */
}
%%
int main (int argc, char *argv [])
{
  int i;

  while ((i = yylex ()))
    printf ("%d\n", i);

  return 0;
}

但是一旦语法变得更复杂,这将变得非常混乱。