通过组名匹配正则表达式中的组的更好方法是什么

时间:2012-09-15 18:29:07

标签: c# regex lexer

我已阅读How do I get the name of captured groups in a C# Regex?How do I access named capturing groups in a .NET Regex?,试图了解如何在正则表达式中查找匹配组的结果。

我还在http://msdn.microsoft.com/en-us/library/30wbz966.aspx

上阅读了MSDN中的所有内容

我觉得奇怪的是C#(或.NET)似乎是正则表达式的唯一实现,它使您迭代组以查找匹配的组(特别是如果您需要名称),以及事实name不与组结果一起存储。例如,PHP和Python将为您提供与RegEx匹配结果一致的组名称。

我必须迭代组并检查匹配,并且我必须保留我自己的组名列表,因为名称不在结果中。

以下是我的演示代码:

public class Tokenizer
{
    private Dictionary<string, string> tokens;

    private Regex re;

    public Tokenizer()
    {
        tokens = new Dictionary<string, string>();
        tokens["NUMBER"] = @"\d+(\.\d*)?";  // Integer or decimal number
        tokens["STRING"] = @""".*""";       // String
        tokens["COMMENT"] = @";.*";         // Comment
        tokens["COMMAND"] = @"[A-Za-z]+";   // Identifiers
        tokens["NEWLINE"] = @"\n";          // Line endings
        tokens["SKIP"] = @"[ \t]";          // Skip over spaces and tabs

        List<string> token_regex = new List<string>();
        foreach (KeyValuePair<string, string> pair in tokens)
        {
            token_regex.Add(String.Format("(?<{0}>{1})", pair.Key, pair.Value));
        }
        string tok_regex = String.Join("|", token_regex);

        re = new Regex(tok_regex);
    }

    public List<Token> parse(string pSource)
    {
        List<Token> tokens = new List<Token>();

        Match get_token = re.Match(pSource);
        while (get_token.Success)
        {
            foreach (string gname in this.tokens.Keys)
            {
                Group group = get_token.Groups[gname];
                if (group.Success)
                {
                    tokens.Add(new Token(gname, get_token.Groups[gname].Value));
                    break;
                }
            }

            get_token = get_token.NextMatch();
        }
        return tokens;
    }
}

在第

foreach (string gname in this.tokens.Keys)

这不应该是必要的,但确实如此。

无论如何找到匹配的组及其名称而不必迭代所有组?

编辑:比较实施。这是我为Python实现编写的相同代码。

class xTokenizer(object):
    """
    xTokenizer converts a text source code file into a collection of xToken objects.
    """

    TOKENS = [
        ('NUMBER',  r'\d+(\.\d*)?'),    # Integer or decimal number
        ('STRING',  r'".*"'),           # String
        ('COMMENT', r';.*'),            # Comment
        ('VAR',     r':[A-Za-z]+'),     # Variables
        ('COMMAND', r'[A-Za-z]+'),      # Identifiers
        ('OP',      r'[+*\/\-]'),       # Arithmetic operators
        ('NEWLINE', r'\n'),             # Line endings
        ('SKIP',    r'[ \t]'),          # Skip over spaces and tabs
        ('SLIST',   r'\['),             # Start a list of commands
        ('ELIST',   r'\]'),             # End a list of commands
        ('SARRAY',  r'\{'),             # Start an array
        ('EARRAY',  r'\}'),             # End end an array
    ]

    def __init__(self,tokens=None):
        """
        Constructor
            Args:
                tokens - key/pair of regular expressions used to match tokens.
        """
        if tokens is None:
            tokens = self.TOKENS
        self.tokens = tokens
        self.tok_regex = '|'.join('(?P<%s>%s)' % pair for pair in tokens)
        pass

    def parse(self,source):
        """
        Converts the source code into a list of xToken objects.
            Args:
                sources - The source code as a string.
            Returns:
                list of xToken objects.
        """
        get_token = re.compile(self.tok_regex).match
        line = 1
        pos = line_start = 0
        mo = get_token(source)
        result = []
        while mo is not None:
            typ = mo.lastgroup
            if typ == 'NEWLINE':
                line_start = pos
                line += 1
            elif typ != 'SKIP':
                val = mo.group(typ)
                result.append(xToken(typ, val, line, mo.start()-line_start))
            pos = mo.end()
            mo = get_token(source, pos)
        if pos != len(source):
            raise xParserError('Unexpected character %r on line %d' %(source[pos], line))
        return result

正如您所看到的,Python不需要您迭代这些组,并且可以在PHP中完成类似的事情,我假设是Java。

2 个答案:

答案 0 :(得分:1)

所有令牌类型都以不同的字符开头。如何编译将所有可能的起始字符映射到匹配组名称的HashSet<char,string>?这样你只需要检查整个匹配的第一个字符,找出匹配的组。

答案 1 :(得分:1)

无需维护单独的命名组列表。请改用Regex.GetGroupNames method

您的代码看起来与此类似:

foreach (string gname in re.GetGroupNames())
{
    Group group = get_token.Groups[gname];
    if (group.Success)
    {
        // your code
    }
}

那就是说,请注意MSDN页面上的这个注释:

  

即使未明确命名捕获组,它们也是如此   自动分配数字名称(1,2,3等)。

考虑到这一点,您应该为所有组命名,或者过滤掉数字组名称。您可以使用某些LINQ执行此操作,或者使用!Char.IsNumber(gname[0])检查组名的第一个字符,并假设任何此类组无效。或者,您也可以使用int.TryParse方法。