Question

我需要制作一种包含变量的语言，但是它还需要字母'd'作为一个操作数，该操作数的右侧为数字，左侧可能为数字。我认为确保词法分析器首先检查字母会使其具有优先权，但这不会发生，我也不知道为什么。

from ply import lex, yacc

tokens=['INT', 'D', 'PLUS', 'MINUS', 'LPAR', 'RPAR', 'BIGGEST', 'SMALLEST', 'EQ', 'NAME']

t_PLUS     = r'\+'
t_MINUS    = r'\-'
t_LPAR     = r'\('
t_RPAR     = r'\)'
t_BIGGEST  = r'\!'
t_SMALLEST = r'\#'
t_D        = r'[dD]'
t_EQ       = r'\='
t_NAME     = r'[a-zA-Z_][a-zA-Z0-9_]*'

def t_INT(t):
    r'[0-9]\d*'
    t.value = int(t.value)
    return t


def t_newline(t):
    r'\n+'
    t.lexer.lineno += 1


t_ignore = ' \t'

def t_error(t):
    print("Not recognized by the lexer:", t.value)
    t.lexer.skip(1)

lexer = lex.lex()

while True:
    try: s = input(">> ")
    except EOFError: break
    lexer.input(s)
    while True:
        t = lexer.token()
        if not t: break
        print(t)

如果我写： 3d4 它输出：

LexToken(INT,3,1,0)
LexToken(NAME,'d4',1,1)

我不知道如何解决它。

Answer 1

Ply不会按出现顺序对令牌变量进行优先级排序；而是按长度从小到大的顺序排序（最长的）。因此，您的t_NAME模式将在t_D之前出现。 Ply manual中对此进行了解释，并给出了如何处理保留字的具体示例（可能不适用于您的情况）。

如果我理解正确，字母d不能是标识符，d也不能跟数字。对于我来说，尚不清楚您是否期望d2e是一个合理的标识符，但为简单起见，我假设答案是“否”，在这种情况下，您可以轻松地限制t_NAME常规表达式，要求首字母d后跟另一个字母：

t_NAME = '([a-ce-zA-CE-Z_]|[dD][a-zA-Z_])[a-zA-Z0-9_]*'

如果您想允许d2e作为名称，则可以使用：

t_NAME = '([a-ce-zA-CE-Z_]|[dD][0-9]*[a-zA-Z_])[a-zA-Z0-9_]*'

将字母标记为运算符

1 个答案: