将谷歌的页面加载到字符串中

Question

我需要分析谷歌上的一个特定页面，我对该页面有直接的喜欢。当我将该链接粘贴到IE时，它可以正常工作。

现在我尝试自动执行此过程

WebClient w = new WebClient();
                string s = w.DownloadString("https://www.google.com/#q=" + MYSEARCHSTRING + "&start=0");

但它没有正确地将页面加载到's'

中

Answer 1

使用代码加载网址时，您无法在其中使用“＃”字符，因为这是Fragment Identifier，Google现在使用javascript运行搜索，因此浏览器不再请求每个网页。

为此，您需要使用较早的搜索语法：https://www.google.com/search?q=

更好的解决方案可能是使用API​​进行搜索：Custom Search，使用它可以更好地解析结果并在Google上更好。

要注意的一件事是确保您如何使用结果符合服务条款，使用API​​应该有助于避免滥用它，我还没有看过搜索条件所以我不确定那里会有什么限制。