Question

我会写一个简单的词法分析器来识别单词没有数字和数字忽略空格。

我使用jparsec v3.0编写了以下代码：

final Parser<String> words = Patterns.isChar(CharPredicates.IS_ALPHA).many1().toScanner("word").source();
final Parser<String> nums = Patterns.isChar(CharPredicates.IS_DIGIT).many1().toScanner("num").source();
final Parser<Tokens.Fragment> tokenizer = Parsers.or(
        words.map(it -> Tokens.fragment(it, "WORD")),
        nums.map(it -> Tokens.fragment(it, "NUM")));
final Parser<List<Token>> lexer = tokenizer.lexer(Scanners.WHITESPACES);

但是以下测试失败，异常为org.jparsec.error.ParserException: line 1, column 7: EOF expected, 1 encountered。相反，使用字符串＆＃34; abc cd 123＆＃34;解析成功。

final List<Token> got = lexer.parse("abc cd123");
final List<Token> expected = Arrays.asList(
        new Token(0, 3, Tokens.fragment("abc", "WORD")),
        new Token(4, 2, Tokens.fragment("cd", "WORD")),
        new Token(6, 3, Tokens.fragment("123", "NUM")));
assertEquals(expected, got);

在您看来有什么问题？

Answer 1

以下测试通过：

public class SOTest {
  final Parser<String> words = Patterns.isChar(CharPredicates.IS_ALPHA).many1().toScanner("word").source();
  final Parser<String> nums = Patterns.isChar(CharPredicates.IS_DIGIT).many1().toScanner("num").source();
  final Parser<Tokens.Fragment> tokenizer = Parsers.or(
    words.map(it -> Tokens.fragment(it, "WORD")),
    nums.map(it -> Tokens.fragment(it, "NUM")));
  final Parser<List<Token>> lexer = tokenizer.lexer(Scanners.WHITESPACES);


  @Test public void test(){
    final List<Token> got = lexer.parse("abc cd 123");
    Asserts.assertArrayEquals(got.toArray(new Token[0]),
      new Token(0, 3, Tokens.fragment("abc", "WORD")),
      new Token(4, 2, Tokens.fragment("cd", "WORD")),
      new Token(7, 3, Tokens.fragment("123", "NUM")));
  }      
}

您的令牌只有ALPHA个字符或仅DIGITS，因此您无法解析abc cd123。

文档说＆＃34;分隔符在每次出现之前或之后被忽略的事实＆＃34;应该被解释为忽略在{em>列出的Token 之前或之后出现的分隔符。但是除了运算符（参见Terminals class）以获取更多信息）之外，分隔符不会被分隔符忽略。

Answer 2

只需将分隔符设为可选项即可解决问题：

tokenizer.lexer(Scanners.WHITESPACES.optional(null))

为什么这个简单的jparsec词法分析器失败了？

2 个答案: