Question

我目前正在使用HtmlAgilityPack通过xpath查询搜索某些内容。像这样：

var col = doc.DocumentNode.SelectNodes("//*[text()[contains(., 'foo'] or @*....

现在我想使用正则表达式在所有html源代码（=文本，标签和属性）中搜索特定内容。如何通过HtmlAgilityPack实现这一目标？ HtmlAgilityPack可以处理xpath + regex或者使用正则表达式和HtmlAgilityPack进行搜索的最佳方法是什么？

Answer 1

Html Agility Pack使用底层的.NET XPATH实现来支持XPATH。幸运的是，.NET中的XPATH是完全可扩展的（顺便说一句：很遗憾微软不再投资于这种精湛的技术......）。

所以，我们假设我有这个HTML：

<div>hello</div>
<div>hallo</div>

下面是一个示例代码，它将选择两个节点，因为它将节点与'h.llo'正则表达式表达式进行比较：

HtmlNodeNavigator nav = new HtmlNodeNavigator("mypage.htm");
foreach (var node in SelectNodes(nav, "//div[regex-is-match(text(), 'h.llo')]"))
{
    Console.WriteLine(node.OuterHtml); // should dump both div elements
}

它的工作原理是因为我使用了一个特殊的Xslt / XPath上下文，我在其中定义了一个名为“regex-is-match”的新XPATH函数。这是SelectNodes实用程序代码：

public static IEnumerable<HtmlNode> SelectNodes(HtmlNodeNavigator navigator, string xpath)
{
    if (navigator == null)
        throw new ArgumentNullException("navigator");

    XPathExpression expr = navigator.Compile(xpath);
    expr.SetContext(new HtmlXsltContext());

    object eval = navigator.Evaluate(expr);
    XPathNodeIterator it = eval as XPathNodeIterator;
    if (it != null)
    {
        while (it.MoveNext())
        {
            HtmlNodeNavigator n = it.Current as HtmlNodeNavigator;
            if (n != null && n.CurrentNode != null)
            {
                yield return n.CurrentNode;
            }
        }
    }
}

以下是支持代码：

    public class HtmlXsltContext : XsltContext
    {
        public HtmlXsltContext()
            : base(new NameTable())
        {
        }

        public override int CompareDocument(string baseUri, string nextbaseUri)
        {
            throw new NotImplementedException();
        }

        public override bool PreserveWhitespace(XPathNavigator node)
        {
            throw new NotImplementedException();
        }

        protected virtual IXsltContextFunction CreateHtmlXsltFunction(string prefix, string name, XPathResultType[] ArgTypes)
        {
            return HtmlXsltFunction.GetBuiltIn(this, prefix, name, ArgTypes);
        }

        public override IXsltContextFunction ResolveFunction(string prefix, string name, XPathResultType[] ArgTypes)
        {
            return CreateHtmlXsltFunction(prefix, name, ArgTypes);
        }

        public override IXsltContextVariable ResolveVariable(string prefix, string name)
        {
            throw new NotImplementedException();
        }

        public override bool Whitespace
        {
            get { return true; }
        }
    }

    public abstract class HtmlXsltFunction : IXsltContextFunction
    {
        protected HtmlXsltFunction(HtmlXsltContext context, string prefix, string name, XPathResultType[] argTypes)
        {
            Context = context;
            Prefix = prefix;
            Name = name;
            ArgTypes = argTypes;
        }

        public HtmlXsltContext Context { get; private set; }
        public string Prefix { get; private set; }
        public string Name { get; private set; }
        public XPathResultType[] ArgTypes { get; private set; }

        public virtual int Maxargs
        {
            get { return Minargs; }
        }

        public virtual int Minargs
        {
            get { return 1; }
        }

        public virtual XPathResultType ReturnType
        {
            get { return XPathResultType.String; }
        }

        public abstract object Invoke(XsltContext xsltContext, object[] args, XPathNavigator docContext);

        public static IXsltContextFunction GetBuiltIn(HtmlXsltContext context, string prefix, string name, XPathResultType[] argTypes)
        {
            if (name == "regex-is-match")
                return new RegexIsMatch(context, name);

            // TODO: create other functions here
            return null;
        }

        public static string ConvertToString(object argument, bool outer, string separator)
        {
            if (argument == null)
                return null;

            string s = argument as string;
            if (s != null)
                return s;

            XPathNodeIterator it = argument as XPathNodeIterator;
            if (it != null)
            {
                if (!it.MoveNext())
                    return null;

                StringBuilder sb = new StringBuilder();
                do
                {
                    HtmlNodeNavigator n = it.Current as HtmlNodeNavigator;
                    if (n != null && n.CurrentNode != null)
                    {
                        if (sb.Length > 0 && separator != null)
                        {
                            sb.Append(separator);
                        }

                        sb.Append(outer ? n.CurrentNode.OuterHtml : n.CurrentNode.InnerHtml);
                    }
                }
                while (it.MoveNext());
                return sb.ToString();
            }

            IEnumerable enumerable = argument as IEnumerable;
            if (enumerable != null)
            {
                StringBuilder sb = null;
                foreach (object arg in enumerable)
                {
                    if (sb == null)
                    {
                        sb = new StringBuilder();
                    }

                    if (sb.Length > 0 && separator != null)
                    {
                        sb.Append(separator);
                    }

                    string s2 = ConvertToString(arg, outer, separator);
                    if (s2 != null)
                    {
                        sb.Append(s2);
                    }
                }
                return sb != null ? sb.ToString() : null;
            }

            return string.Format("{0}", argument);
        }

        public class RegexIsMatch : HtmlXsltFunction
        {
            public RegexIsMatch(HtmlXsltContext context, string name)
                : base(context, null, name, null)
            {
            }

            public override XPathResultType ReturnType { get { return XPathResultType.Boolean; } }
            public override int Minargs { get { return 2; } }

            public override object Invoke(XsltContext xsltContext, object[] args, XPathNavigator docContext)
            {
                if (args.Length < 2)
                    return false;

                return Regex.IsMatch(ConvertToString(args[0], false, null), ConvertToString(args[1], false, null));
            }
        }
    }

正则表达式函数最后在一个名为RegexIsMatch的类中实现。这不是非常复杂。请注意，有一个实用程序函数ConvertToString，它试图将任何xpath“thing”强制转换为非常有用的字符串。

当然，使用这项技术，您可以使用非常少的代码定义所需的任何XPATH函数（我一直使用它来进行大小写转换......）。

Answer 2

直接quoting，

我认为这里的缺陷是HTML是Chomsky Type 2 grammar (context free grammar)而RegEx是Chomsky Type 3 grammar (regular grammar)。因为Type 2语法基本上更多比3类语法复杂（参见Chomsky hierarchy），你不可能使这项工作。但许多人会尝试，有些人会声称成功和其他人会找到错误并完全弄乱你。

将正则表达式与HTML文档的某些部分一起使用可能是有意义的。尝试使用HtmlAgilityPack在HTML文档的标记和结构上运行正则表达式是不正确的，最终无法为您的问题提供通用的解决方案。

HtmlAgilityPack：xpath和regex

2 个答案: