Question

我可以为* .jjt文件制作西里尔文令牌吗？

例如，jjt：

中给出了示例代币

TOKEN : /* LITERALS */
{
    < TEST: "тест" >
|   < DEVELOP: "разработка" >
}

但是jj文件中的标记看起来很糟糕：

TOKEN : /* LITERALS */
{
    < TEST: "\u0421\u201a\u0420\u00b5\u0421\u0403\u0421\u201a" >
|   < DEVELOP: "\u0421\u0402\u0420\u00b0\u0420\u00b7\u0421\u0402\u0420\u00b0\u0420\u00b1\u0420\u0455\u0421\u201a\u0420\u0454\u0420\u00b0" >
}

使用以下选项：

options {
  JDK_VERSION = "1.6";
  UNICODE_INPUT = true;
  JAVA_UNICODE_ESCAPE = false;
  TRACK_TOKENS=true;
  STATIC=false;
}

如果我在班上的帮助下做Unicode：

class GetUnicode {
  public static void main(String[] args) {
      if (args.length < 1) return;
      for (String input: args) {
        for (int index = 0; index < input.length(); ++index) {
            final char c = input.charAt(index); 
            final String s = String.format ("\\u%04x", (int)c);
            System.out.print(s);
        }
        System.out.println();
      }
  }
}

节目开始后：

$ java GetUnicode тест разработка                                                                                                                                                                                       
\u0442\u0435\u0441\u0442
\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430

结果，我可以看到unicode字符串不匹配。例如：

"\u0442\u0435\u0441\u0442" != "\u0421\u201a\u0420\u00b5\u0421\u0403\u0421\u201a"

你知道为什么会这样吗？

PS：此错误仅在Windows操作系统下发生。

Answer 1

.jj文件是使用转义的西里尔字符生成的（Unicode）。这是一件好事，因为它们不会因使用错误的编码而被误读。你不应该担心它;令牌管理器工作正常。

如何在JavaCC中支持西里尔字母？

1 个答案: