flex / bison中的半保留字处理

时间:2013-11-04 13:50:35

标签: bison yacc lex flex-lexer lexical-analysis

考虑这个lex.l文件:

%{
#include "y.tab.h"
%}

digit         [0-9]
letter        [a-zA-Z]

%%
"+"                  { return PLUS;       }
"-"                  { return MINUS;      }
"*"                  { return TIMES;      }
"/"                  { return SLASH;      }
"("                  { return LPAREN;     }
")"                  { return RPAREN;     }
";"                  { return SEMICOLON;  }
","                  { return COMMA;      }
"."                  { return PERIOD;     }
":="                 { return BECOMES;    }
"="                  { return EQL;        }
"<>"                 { return NEQ;        }
"<"                  { return LSS;        }
">"                  { return GTR;        }
"<="                 { return LEQ;        }
">="                 { return GEQ;        }
"begin"              { return BEGINSYM;   }
"call"               { return CALLSYM;    }
"const"              { return CONSTSYM;   }
"do"                 { return DOSYM;      }
"end"                { return ENDSYM;     }
"if"                 { return IFSYM;      }
"odd"                { return ODDSYM;     }
"procedure"          { return PROCSYM;    }
"then"               { return THENSYM;    }
"var"                { return VARSYM;     }
"while"              { return WHILESYM;   }
{letter}({letter}|{digit})* {
                       yylval.id = strdup(yytext);
                       return IDENT;      }
{digit}+             { yylval.num = atoi(yytext);
                       return NUMBER;     }
[ \t\n\r]            /* skip whitespace */
.                    { printf("Unknown character [%c]\n",yytext[0]);
                       return UNKNOWN;    }
%%

int yywrap(void){return 1;}

在此示例中,标识符不能是保留字,因为它将在上面匹配。 在这种情况下,是否允许将标识符定义为保留字?

1 个答案:

答案 0 :(得分:5)

我认为您正在寻找的是解析器告诉词法分析器在给定上下文中保留哪些单词的方法。但这并不容易,特别是因为解析器经常在任何操作发生之前读取先行令牌。

更简单的解决方案是为任何半保留字设置yylval,然后在解析器中使用这样的产品:

id_or_procedure: IDENTIFIER | PROCSYM;

id_or_conditional: IDENTIFIER | THENSYM | ODDSYM;

这不容易维护,因为它要求您确定哪些半保留字适用于哪些上下文。但是如果你只有一些半保留的单词,并且它们只是在一些非常特定的环境中保留的话,那么它是非常可行的。