Question

我正在使用PLY python软件包为C的子集构建前端编译器，但是我仍然在努力理解自下而上的解析器（特别是LALR）的工作方式。我用给定的语法编写了一个简单的程序，以了解事物的工作原理：

expression -> vowel_list consonant_list

vowel_list -> VOWEL vowel_list
        | VOWEL

consonant_list : CONSONANT consonant_list
            | CONSONANT

并使用输入字符串：'EUAIOTNC'

作为对不同语法规则的操作，我使用一个列表，在其中附加解析器可以看到的所有标记。基本上，当减少时，令牌会附加到列表中。在获得起始符号表达式的解析结束时，列表显示为：['O'，'I'，'A'，'U'，'E'，'C'，'N'，'T']

import ply.lex as lex
import ply.yacc as yacc
tokens = ['VOWEL','CONSONANT']

t_VOWEL = r'[AEIOUaeiou]'
t_CONSONANT = r'[A-Za-z]'

def t_error(token):
    print(f'Illegal character: {token.value} on line number {t.lineno}')
    token.lexer.skip(1)

def t_whitespace(t):
    r'\s+'
    pass

lexer = lex.lex()

tokens_generated = []

def p_expression(p):
    '''
    expression : vowel_list consonant_list
    '''

    print(p.stack)
    print('Derivation complete!')
    print(f'The tokens generated are: {tokens_generated}')


def p_vowel_list(p):
    '''
    vowel_list : VOWEL vowel_list
                | VOWEL
    '''
    print(f'Derived the vowel {p[1]} !')
    tokens_generated.append(p[1])

def p_consonant_list(p):
    '''
    consonant_list : CONSONANT consonant_list
                    | CONSONANT
    '''
    print(f'Derived the consonant {p[1]}!')
    tokens_generated.append(p[1])


def p_error(p):
    if p == None:
        token = "end of file"
    else:
        token = f"{p.type}({p.value}) on line {p.lineno}"

input_string = 'EUAIOTNC'

parser = yacc.yacc(method='LALR',debug=True)
parser.parse(input_string)

我得到的输出是：

Derived the vowel O !
Derived the vowel I !
Derived the vowel A !
Derived the vowel U !
Derived the vowel E !
Derived the consonant C!
Derived the consonant N!
Derived the consonant T!
[$end]
Derivation complete!
The tokens generated are: ['O', 'I', 'A', 'U', 'E', 'C', 'N', 'T']

我无法弄清楚这是怎么发生的。我曾期望列表以与字符串中看到的顺序相同的顺序包含令牌。有人可以解释为什么我得到了我得到的吗？ LALR解析器如何解析我的输入？

Answer 1

它按照您的要求进行解析。当你说：

您的意思是：

识别vowel_list: VOWEL vowel_list。
完全处理VOWEL（包括执行vowel_list的归约动作）。
最后，为此vowel_list执行相关的还原操作。

很明显，这导致从右到左打印vowel_list的原因。第一个VOWEL会在最外面的VOWEL的缩小动作中打印，只有在所有内部vowel_list的缩小动作之后才执行。

如果您使用左递归以常规方式编写语法以进行自底向上的语法分析，则这些操作将导致您期望的打印顺序：

vowel_list

实际上，该语法的意思是“识别一个元音列表，首先识别一个较短的元音列表，然后添加另一个VOWEL。”

这与LALR算法无关。它是您编写的语法中固有的。生产完成后执行动作的任何解析器都必须采取相同的行动。那实际上是执行动作的唯一明智的时间，因为通常每个动作都依赖于了解与其组件相关的计算。

关于LR算法，重要的是它们允许解析左递归语法，从而允许您使用自然执行顺序。如果要在规则中间插入一个动作，或者将每个VOWEL封装在具有单独动作的单元产品中，则只能使用右递归规则来做到这一点。

PLY：需要帮助来了解LALR解析器如何解析给定语法的输入

1 个答案: