使用yacc的多字符运算符

时间:2013-03-04 01:32:52

标签: bison yacc lex flex-lexer

我一直在尝试将按位运算符添加到我给出的前缀/中缀/后缀计算器但由于某种原因我无法获得运算符“<<” “>>” 中使用yacc识别“**”。我一直在寻找其他有类似问题的人,尤其是这个问题yacc/bison tokens error. '>>>' and '>>' both assigned number 62,但还没有找到可行的解决方案。

我的lex档案

%{
#include "zcalc.h"
#include <math.h>

int ch;
int flag = 0;

#define NAME 257            
#define SEMISYM 268 
#define COMMASYM 269 
#define LPARSYM 270
#define RPARSYM 271
#define EQSYM 272 
#define PLUSSYM 273
#define MULTSYM 274
#define ASGNSYM 275 
#define MINUSSYM 276 
#define NUMBER 277
#define TILDE 278

/*New stuff I added*/
#define BITAND 279
#define BITOR 280
#define BITXOR 281
/*#define BITNOT 282*/
#define LSHIFT 283
#define RSHIFT 284
#define POWER 285

void yyerror( char *mesg ); /* yacc error checker */



/* definitions for lex analyzer */
letter [A-Za-z]         
digit  [0-9]+       
ident {letter}({letter}|{digit})*           
ws  [ \t\n]+                
other  .


%%

{ws}  ;         /*---- Tokens and Actions---- */
/*New Stuff*/
"&" return BITAND;
"|" return BITOR;
"^" return BITXOR;
"<<" return LSHIFT;
">>" return RSHIFT;
"**" return POWER;

"//".* ;                
";" return SEMISYM;         
"," return COMMASYM;            
"(" return LPARSYM; 



")" return RPARSYM;         
"==" return EQSYM;          
"+" return PLUSSYM;         
"*" return MULTSYM;         
"=" return ASGNSYM;         
"-" return MINUSSYM;
"~" return TILDE;

/*New Stuff
"&" return BITAND;
"|" return BITOR;
"^" return BITXOR;
"<<" return LSHIFT;
">>" return RSHIFT;
"**" return POWER;*/


{ident}     {
                 return NAME;
            }

{digit}     {
                 return NUMBER;
            }

"$"   { return 0; }

{other} ;               /* ignore other stuff */

%%

void yyerror( char *mesg ); /* yacc error checker */

/* yacc error function */
void yyerror( char *mesg ) {
  flag = 1;
  printf("%s \n" , mesg);  
}

int main() {
  printf("Lex  \t\tToken\t\t\n"); /* header on columns */
  printf("----------------------------\n"); 
  do
  {
    ch = yylex();

    if (ch == SEMISYM)
      printf("%s\t\tSEMICOLON ", yytext);
    else if (ch == COMMASYM)
      printf("%s\t\tCOMMA ", yytext);
    else if (ch == LPARSYM)
      printf("%s\t\tL_PARENTHESIS ", yytext);
    else if (ch == RPARSYM)
      printf("%s\t\tR_PARENTHESIS ", yytext);
    else if (ch == EQSYM)
      printf("%s\t\tEQ_OP ", yytext);
    else if (ch == PLUSSYM)
      printf("%s\t\tPLUS_OP ", yytext);
    else if (ch == MULTSYM)
      printf("%s\t\tMULT_OP ", yytext);
    else if (ch == ASGNSYM)
      printf("%s\t\tASSIGNMENT_STMT ", yytext);
    else if (ch == MINUSSYM)
      printf("%s\t\tMINUS_OP ", yytext);
    else if (ch == NUMBER)
      printf("%s\t\tNUMBER ", yytext);
    else if (ch == NAME)
      printf("%s\t\tNAME\t\t", yytext);
     else if (ch == TILDE)
        printf("%s\t\tTILDE\t\t", yytext);
        else
         printf("%c ",ch);
         printf("\n");          /* end check token read */
       }
       while(ch != 0);          /* read until end of file */    

      return 0;
    }

    int yywrap() {
      return 1;
    }

    %}

我的yacc文件

    %{ 
#include "zcalc.h"

#include <string.h>
#include <math.h>
#include <stdlib.h>
#include <stdio.h>




int flag = 0;

void yyerror( char *mesg ); /* yacc error checker */

%}

%union {
  double dval;
  struct symtab *symp;
}

%token <symp> NAME
%token <dval> NUMBER
 // %token LSHIFT
 // %token RSHIFT
%token POWER

%left '-' '+'
 //%left "**"
%left '*' '/'
 //%left LSHIFT RSHIFT
 //%left POWER

%type <dval> expression
%%

statement_list: statement '\n'
                | statement_list statement '\n'

statement: NAME '=' expression { $1->value = $3; }
           | expression { printf("= %g\n", $1); }

expression: '+' expression expression { $$ = $2 + $3; }
            | '-' expression expression { $$ = $2 - $3; }
            | POWER expression expression { $$ = $3; }
            | '*' expression expression { $$ = $2 * $3; }
            | '/' expression expression { $$ = $2 / $3; }
            | '&' expression expression { $$ = (int)$2 & (int)$3; }
            | '|' expression expression { $$ = (int)$2 | (int)$3; }
            | '^' expression expression { $$ = (int)$2 ^ (int)$3; }
            | '<' '<' expression expression { $$ = (int)$3 << (int)$4; }
            | '>' '>' expression expression { $$ = (int)$3 >> (int)$4; }
//| "**" expression expression { $$ = pow($2, $3); }
            | '~' expression { $$ = ~ (int)$2; }
            | '(' expression ')' { $$ = $2; }
            | NUMBER
            | NAME { $$ = $1->value; }
%%

struct symtab * symlook( char *s ) {
   char *p;
   struct symtab *sp;

   for(sp = symtab; sp < &symtab[NSYMS]; sp++) {
     /* is it already here? */
     if (sp->name && !strcmp(sp->name, s))
       return sp;

     /* is it free */
     if (!sp->name) {
       sp->name = strdup(s);
       return sp;
     }
     /* otherwise continue to the next */
   }
   yyerror("Too many symbols...\n");
   exit(1);
}

void addfunc( char *name, double (*func)() ) {
  struct symtab *sp = symlook(name);
  sp->funcptr = func;
}


/* yacc error function */
void yyerror( char *mesg )  {
  flag = 1;
  printf("%s \n" , mesg);  
}


int main() {

  yyparse();

  return 0;
}

我已经摆弄了标题中的定义和规则的位置,但这似乎不起作用。我可以得到“&lt;&lt;”和“&gt;&gt;”使用'&lt;'工作'&LT;'但它会抛出参数计数,看起来更像是一种解决方法,而不是一个合适的解决方案。谢谢你的帮助!

3 个答案:

答案 0 :(得分:1)

问题在于,虽然您可以在野外定义和使用"<<"">>"等令牌,但这些令牌没有扩展到.tab.h文件中定义的值的宏,所以没有(简单的)方法来生成词法分析器中的标记。为了使用它们,您需要确定分配给它们的标记值(整数)bison(您可以在.output文件中看到它)并返回该整数。但是对.y文件的任何更改(添加的任何新标记,甚至只是重新排序的内容)都可能会改变它,因此几乎无法维护。

相反,更有意义的是定义名称标记(如LSHIFTRSHIFT),bison将生成扩展到标记编号的宏,使您可以在词法分析器中轻松引用它们

答案 1 :(得分:0)

您的Flex源不正确;最后的%}应该是文件的一部分,但是这太过分了,将材料复制到SO必须是一个问题(你得到'过早的EOF'与%}所显示的问题)。

未升级测试工具以打印新条目。当我将else子句更改为:

    else
        printf("%d\t\tUNKNOWN (%s)",ch, yytext);

然后在这个符号的pourri上运行测试程序,它似乎表现得很好:

Lex         Token       
----------------------------
()+*=-~ &|^>>**<<;,()===
(       L_PARENTHESIS
)       R_PARENTHESIS
+       PLUS_OP
*       MULT_OP
=       ASSIGNMENT_STMT
-       MINUS_OP
~       TILDE
279     UNKNOWN (&)
280     UNKNOWN (|)
281     UNKNOWN (^)
284     UNKNOWN (>>)
260     UNKNOWN (**)
283     UNKNOWN (<<)
;       SEMICOLON
,       COMMA
(       L_PARENTHESIS
)       R_PARENTHESIS
==      EQ_OP
=       ASSIGNMENT_STMT
0       UNKNOWN ()

在此之前,它会打印出明显空白的行,但实际上它们上面有控制字符,因为279-283被减少模256到字符代码23-27或控制-W来控制 - [。

答案 2 :(得分:0)

我建议使用

%token LSHIFT "<<"
...
%left "<<"
...
expression: expression "<<" expression {...}

在Bison文件和Flex文件中:

"<<"  return LSHIFT;

注意在语法文件中使用"<<",而不是在编写时使用'<<'