Question

我目前正在搜索一个框架，它允许我解析ruby代码并将代码转换为concrete syntax tree。

我已经看了Rubyparser，这是我感兴趣的方向，但是它给了我一个抽象的语法树。

另一种方法是拆开构建CST的工具（可能是Pelusa或类似的东西）。

你有什么建议吗？它应该用Ruby编写，所以我不能使用原始的Ruby解析器。

Answer 1

我不确定你到底想要做什么，但是看看Treetop它会让你定义一个语法文件，并将语法编译成Ruby中的解析器。它是一个PEG解析器，因此它比传统的LALR解析器更容易使用。

这是一个解析一点Ruby的示例（当然，您必须扩展语法以满足您的需求，这可能很难，因为Ruby要解析起来相当复杂）：

require 'treetop'
Treetop.load_from_string DATA.read

parser = TestParser.new

p parser.parse('def func
   6 + 5
end')

__END__
grammar Test
   rule function
      'def' space function_name function_body 'end'
   end
   rule function_name
      [A-Za-z]+
   end
   rule function_body
      space expression space
   end
   rule expression
      '6 + 5'
   end
   rule space
      [\t \n]+
   end
end

解析它会返回AST：

SyntaxNode+Function0 offset=0, "...ef func\n   6 + 5\nend" (space,function_name,function_body):
  SyntaxNode offset=0, "def"
  SyntaxNode offset=3, " ":
    SyntaxNode offset=3, " "
  SyntaxNode offset=4, "func":
    SyntaxNode offset=4, "f"
    SyntaxNode offset=5, "u"
    SyntaxNode offset=6, "n"
    SyntaxNode offset=7, "c"
  SyntaxNode+FunctionBody0 offset=8, "\n   6 + 5\n" (space1,expression,space2):
    SyntaxNode offset=8, "\n   ":
      SyntaxNode offset=8, "\n"
      SyntaxNode offset=9, " "
      SyntaxNode offset=10, " "
      SyntaxNode offset=11, " "
    SyntaxNode offset=12, "6 + 5"
    SyntaxNode offset=17, "\n":
      SyntaxNode offset=17, "\n"
  SyntaxNode offset=18, "end"

此外，您可以使用tt命令行工具将treetop语法文件编译为Ruby代码。

tt test.treetop -o test-treetop.rb

ruby解析/静态代码分析的框架

1 个答案: