Question

我正在开发一个WebCrawler。此网络抓取工具会根据给定的搜索字词获取Google搜索中的所有链接。

我的WebCrawler成功列出了所有链接。 以下是问题：我不希望WebCrawler列出Google图片的链接。

我使用XPath选择节点。这是我的链接选择XPath：

//a[@href]

- 这很有效。

这是我选择的链接而不是图片：

/a[@href] | //*[not(self::g-img)]]

- 这不起作用。

Google使用<g-img...>...</g-img>标记图片。

我收到以下XPath Exception错误：

An unhandled exception of type 'System.Xml.XPath.XPathException' occurred in System.Xml.dll

Additional information: '//a[@href] | //*[not(self::g-img)]]' is an invalid Token.

这是我点击按钮的C＃代码：

private void urlButton_Click(object sender, EventArgs e)
        {
            itemsListBox.Items.Clear();

            StringBuilder sb = new StringBuilder();

            byte[] resultsBuffer = new byte[8192];

            string searchResults = "http://google.com/search?q=" + keyWordTextBox.Text.Trim() + "&num=" + numTextBox.Text;

            HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(searchResults);
            HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();

            Stream rStream = webResponse.GetResponseStream();

            string tempString = null;
            int count = 0;

            do
            {
                count = rStream.Read(resultsBuffer, 0, resultsBuffer.Length);
                if (count != 0)
                {
                    tempString = Encoding.ASCII.GetString(resultsBuffer, 0, count);
                    sb.Append(tempString);
                }
            }

            while (count > 0);
            string sbString = sb.ToString();

            HtmlAgilityPack.HtmlDocument html = new HtmlAgilityPack.HtmlDocument();
            html.OptionOutputAsXml = true;
            html.LoadHtml(sbString);

            HtmlNode doc = html.DocumentNode;

            string nodeSelection = "//a[@href] | //*[not(self::g-img)]]";

            // TODO insert correct xpath
            foreach (HtmlNode link in doc.SelectNodes(nodeSelection))
            {
                string hrefValue = link.GetAttributeValue("href", string.Empty);

                if (!hrefValue.ToString().ToUpper().Contains("GOOGLE") && hrefValue.ToString().Contains("/url?q=") && (hrefValue.ToString().ToUpper().Contains("HTTP://") || hrefValue.ToString().ToUpper().Contains("HTTPS://")))
                {
                    int index = hrefValue.IndexOf("&");

                    if (index > 0)
                    {
                        hrefValue = hrefValue.Substring(0, index);
                        itemsListBox.Items.Add(hrefValue.Replace("/url?q=", ""));
                    }
                }
            }
        }

我使用HtmlAgilityPack。在这种情况下它非常有用。我尝试解决这个问题已经有一段时间了，我无法在stackoverflow或google上找到任何帮助。

Answer 1

看起来你的xpath中有一个额外的]。

此：

//a[@href] | //*[not(self::g-img)]]

应该是：

//a[@href] | //*[not(self::g-img)]

即使现在语法正确，但我认为它不会选择你想要的。它将选择具有href属性的所有a元素的联合以及未命名为g-img的所有元素。

请改为尝试：

//*[@href and not(self::g-img)]

XPath选择链接但不是图像

1 个答案: