我在开发我们的小DSL方面取得了一些进展，但在尝试突出我们正在使用的TextEditorControl中的注释时遇到了问题。 ICSharpCode控件非常棒，与ANTLR结合使用，为DSL提供了一个很好的平台。
我有一个工作的语法和词法分析器，并在文本编辑器中编写了一个Highlighting策略，该策略也很有效。拒绝正确着色的唯一DSL元素是我在隐藏频道上的“评论”。
Comment
: '//' ~('\r' | '\n')* {$channel=Hidden;}
| '/*' .* '*/' {$channel=Hidden;}
;
令人沮丧的是，如果我将Comment lexrule从隐藏的通道中删除，我可以使突出显示工作......但是当我这样做时，解析器在评估之后的最后一段文本之后停止解析。< / p>
作为一个例子;这可以在隐藏注释时起作用，但当它们不是
时停止在第一个“abc”解析 //Comment
abc=[7,8,9];
return abc[2];
我一直试图单独访问隐藏的通道，以便我可以将默认和隐藏的令牌列表组合成一个按开始索引排序的列表，然后从那里突出显示但是我没有运气使用BaseRecognizer.Hidden参数对于CommonTokenStream构造函数。
我目前突出显示TextEditor行的尝试看起来像这样
private void MarkUsingParalexTokens(IDocument document, LineSegment line)
{
var text = document.GetText(line).ToLower();
var input = new ANTLRStringStream(text);
_lexer.CharStream = input;
_tokens = new CommonTokenStream(_lexer, BaseRecognizer.Hidden);
//_tokens.TokenSource =_lexer;
var wordStart = 0;
if (_tokens.Count > 1)
{
do
{
_tokens.Consume();
} while (_tokens.LastToken.Type != ParalexLexer.EOF);
var tokenList = _tokens.GetTokens();
var tokenEnum = tokenList.GetEnumerator();
var tokenAvailable = tokenEnum.MoveNext();
if (tokenAvailable)
{
for (var i = 0; i < text.Length; i++)
{
var token = tokenEnum.Current;
if (token != null)
{
var c = text[i];
if (c == ' ' || c == '\t')
{
if (i > wordStart)
AddWord(document, line, wordStart, i);
line.Words.Add(c == ' ' ? TextWord.Space : TextWord.Tab);
wordStart = i + 1;
}
else
{
var atStartOfToken = (i == token.StartIndex);
if (atStartOfToken)
{
if (i > wordStart)
AddWord(document, line, wordStart, i);
var tokenLength = token.StopIndex - token.StartIndex + 1;
AddWord(document, line, i, tokenLength, token);
tokenEnum.MoveNext();
wordStart = i + tokenLength;
i = wordStart - 1;
}
}
}
}
}
}
if (wordStart < line.Length)
AddWord(document, line, wordStart, line.Length);
}
void AddWord(IDocument document, LineSegment line, int startOffset, int length, IToken token = null)
{
if (length==0) return;
var hasSpecialColor = token != null;
var color = hasSpecialColor ? GetColor(token) : _highlightColors["Default"];
line.Words.Add(new TextWord(document, line, startOffset, length, color, !hasSpecialColor));
if (token != null) Debug.WriteLine("From typing: Text {0}, Type {1}, Color {2}", token.Text, token.Type, color);
}
private HighlightColor GetColor(IToken token)
{
var name = token.Type;
var groupName = "Default";
var punctuation = new[]
{6, 7, 9, 14, 15, 16, 17, 18, 22, 28, 33, 34, 47, 48, 49, 50, 51, 52, 55, 56, 57, 58, 60, 62, 65, 71};
var paralexVerbs = new[] { 8, 13, 23, 26, 27, 31, 32, 38, 39, 40, 54, 64, 68, 73, 75, 76 };
var paralexNouns = new[] {11, 12, 42, 43, 59, 66};
var paralexNumbers = new[] { 53, 61, 41 };
var paralexStrings = new[] {70};
if (Array.IndexOf(punctuation, name) >= 0)
{
groupName = "Punctuation";
}
else if (Array.IndexOf(paralexVerbs, name) >= 0)
{
groupName = "ParalexVerbs";
}
else if (Array.IndexOf(paralexNouns, name) >= 0)
{
groupName = "ParalexNouns";
}
else if (Array.IndexOf(paralexNumbers, name) >= 0)
{
groupName = "ParalexNumbers";
}
else if (Array.IndexOf(paralexStrings, name) >= 0)
{
groupName = "ParalexStrings";
}
else if (name == 19)
{
groupName = "ParalexComment";
}
return _highlightColors[groupName];
}
do..while似乎需要将令牌放入列表中，否则GetTokens永远不会提供任何东西。在上面的代码形式中，即使在我的测试装备中输入注释，也不会生成令牌。
如果我取消对CommonTokenStream的参数化构造函数的调用并使用基础构造函数，我会获得一个很好的标记流，我可以对其进行着色，但所有隐藏的标记都是......好吧......我想是隐藏的。
您对这个小问题的集体想法以及您对我如何以编程方式维护类型列表而不是每次更改解析器时必须重新调整它们的想法都会受到赞赏。
我原本想为每种需要着色的类型创建独立的频道，但目前我只是递归地添加到我的问题中！
提前致谢 伊恩
编辑：
感谢您的出色回答Sam非常感谢。它被标记并得分。
我已经使用了覆盖概念，因为它还解决了按名称跟踪各种令牌类型的问题，从而简化了我在添加语法时的维护。
我创建了一个语法高亮词法分析器和一个单独的评估词法分析器，并使用了我在原始语法中创建的独立通道。
评论现在看起来像这样，虽然我认为alt还没有工作，但主要工作很好
Comment
: '//' ~('\r' | '\n')*
| '/*' .* '*/'
;
Lexer会员添加了这些
@lexer::members{
public const int StringChannel = 98;
public const int NumberChannel = 97;
public const int NounChannel = 96;
public const int VerbChannel = 95;
public const int CommentChannel = 94;
}
并且高亮词法分析器在Emit（）上使用此覆盖，你的osuggested覆盖也就位并正常工作
public class HighlightLexer : ParalexLexer
{
public override IToken Emit()
{
switch (state.type)
{
case Strng:
state.channel = StringChannel;
break;
case Nmber:
case Null:
case Bool:
case Instrument:
case Price:
case PeriodType:
state.channel = NumberChannel;
break;
case BarPeriod:
case BarValue:
case InstrumentList:
case SMA:
case Identifier:
state.channel = NounChannel;
break;
case Assert:
case Do:
case Else:
case End:
case Fetch:
case For:
case If:
case In:
case Return:
case Size:
case To:
case While:
case T__77:
state.channel = VerbChannel;
break;
case Comment:
state.channel = CommentChannel;
break;
default:
state.channel = DefaultTokenChannel;
break;
}
return base.Emit();
}
}
让我烦恼的一件事就是无法轻易获得令牌列表。我无法让CommonTokenStream在没有延迟和绊倒的情况下提供令牌。我使用BufferedTokenStream为“_tokens”拍了一个平底船，因为听起来更像是我追求的并且嘿presto ..令牌！我怀疑用户有错误吗？
标记方法现在看起来像这样
private void MarkUsingParalexTokens(IDocument document, LineSegment line)
{
var text = document.GetText(line).ToLower();
var input = new ANTLRStringStream(text);
_lexer.CharStream = input;
_tokens.TokenSource = _lexer;
var wordStart = 0;
var tokenCounter = 1;
for (var i = 0; i < text.Length; i++)
{
var token = _tokens.LT(tokenCounter);
if (token != null)
{
var c = text[i];
if (c == ' ' || c == '\t')
{
if (i > wordStart)
AddWord(document, line, wordStart, i);
line.Words.Add(c == ' ' ? TextWord.Space : TextWord.Tab);
wordStart = i + 1;
}
else
{
var atStartOfToken = (i == token.StartIndex);
if (atStartOfToken)
{
if (i > wordStart)
AddWord(document, line, wordStart, i);
var tokenLength = token.StopIndex - token.StartIndex + 1;
AddWord(document, line, i, tokenLength, token);
tokenCounter++;
wordStart = i + tokenLength;
i = wordStart - 1;
}
}
}
}
if (wordStart < line.Length)
AddWord(document, line, wordStart, line.Length);
}
void AddWord(IDocument document, LineSegment line, int startOffset, int length, IToken token = null)
{
if (length==0) return;
var hasSpecialColor = token != null;
var color = hasSpecialColor ? GetColor(token) : _highlightColors["Default"];
line.Words.Add(new TextWord(document, line, startOffset, length, color, !hasSpecialColor));
if (token != null) Debug.WriteLine("From typing: Text {0}, Type {1}, Color {2}", token.Text, token.Type, color);
}
private HighlightColor GetColor(IToken token)
{
var name = token.Channel;
var groupName = "Default";
if (name==0)
{
groupName = "Punctuation";
}
else if (name==95)
{
groupName = "ParalexVerbs";
}
else if (name==96)
{
groupName = "ParalexNouns";
}
else if (name==97)
{
groupName = "ParalexNumbers";
}
else if (name==98)
{
groupName = "ParalexStrings";
}
else if (name == 94)
{
groupName = "ParalexComment";
}
return _highlightColors[groupName];
}
再次感谢您的帮助。我要看看错误识别和标记...... 问候 伊恩
答案 0 :(得分：3)
我总是使用不同的词法分析器来进行语法突出显示，用于其他解析任务。用于语法突出显示的词法分析器始终满足以下条件：
除NEWLINE之外，没有任何令牌包含\r或\n个字符。相反，多个词法分析器模式用于块注释和任何其他跨越多行的构造（这甚至适用于ANTLR 3词法分析器，但不支持ANTLR 3本身的词法分析器模式，它会变得很复杂）。
NEWLINE定义如下：
// ANTLR 3-based syntax highlighter:
NEWLINE : ('\r' '\n'? | '\n') {skip();};
// ANTLR 4-based syntax highlighter:
NEWLINE : ('\r' '\n'? | '\n') -> skip;
隐藏频道上没有令牌。
如果您不想使用此路线，则可以从{$channel=Hidden;}规则中删除Comment操作，而是从基础词法分析器中派生新类。在派生类中，重写Emit()。使用基本实现进行语法突出显示，并使用派生实现传递给解析器。在某些情况下，这更容易，但对于具有多行字符串或注释的语言，会引入严重的性能限制，我们发现这些限制对于我们的任何产品都是不可接受的。
public override IToken Emit()
{
if (state.type == Comment)
state.channel = Hidden;
return base.Emit();
}
答案 1 :(得分：0)
我使用C ++（QT / SCintilla库），但无论如何我建议使用不同的Lexer进行语法高亮显示。我的突出显示Lexer与解析者不同：
不需要上下文敏感的Lexing（“X”是一个关键字，如果只有它后跟“Y”，否则它是一个标识符
突出显示词法分析器必须永远不会失败
我希望突出显示内置函数（解析时不需要这样做）
Gui Lexer语法包含其他规则（最后）。
QUOTED_STRING_FRAGMENT
: '"' (~('"') | '\"')+ EOF
;
// Last resort rule matches any character. This lexer should never fail.
TOKEN_FAILURE : . ;
规则TOKEN_FAILURE将匹配用户输入中的任何“无效”字符 用红色背景显示它。否则，将跳过此字符并突出显示。
QUOTED_STRING_FRAGMENT处理用户输入第一个引号且字符串尚未完成的情况。