访问特定关键字的整个网址

Question

我的项目需要比较google和yahoo对特定关键字的输出（仅限网址）。

我可以从谷歌和雅虎访问特定关键字的整个网址吗？他们是否提供任何图书馆或其他任何东西？我该怎么做？...

Answer 1

不确定您究竟在寻找什么，但WebClient类将允许您获取网址的HTML。

您可以使用HTML Agility Pack处理HTML。

这将为您提供文档中所有链接的列表：

HtmlDocument doc = new HtmlDocument();
doc.Load("file.htm");
IEnumerable<HtmlNode> links = doc.DocumentElement.SelectNodes("//a[@href]");

Answer 2

如果我正确理解您的问题，您正在寻找类似Google，雅虎提供的网络服务，＆lt;将您最喜欢的搜索引擎放在这里＆gt;如果你在搜索框中输入了这个词，你可以发送一个“查询”并返回它会返回的链接吗？因此，您不必解析通常会发送回浏览器但只获取链接而只获取链接的HTML。

如果这是您正在寻找的内容，您可以查看Google SOAP Search API，或者更好地了解Google AJAX Search API的继任者。

我从来没有使用过这样的东西，但似乎这可以帮助你。