我希望通过C#中的HTML一起下载Google趋势图表。但是,当我第一次开始下载页面时,在大约6次成功下载后,他们开始发送错误页面。我不相信谷歌会限制我的下载量,因为当我在浏览器中查看网页时,它们显示得很好。有点混淆我怎么能从它工作到它突然导致问题......
以下是对正在发生的事情的看法。左侧的页面是带有错误页面的页面,右侧的页面是浏览器中的同一页面。所有单词都有相同的问题,他们不通过代码下载,但在浏览器中他们工作正常。
Imgur链接:http://i.imgur.com/ZC0sOoi.png
以下是我尝试从中获取数据的关键字的示例网址(图片中的一个): https://trends.google.com/trends/fetchComponent?hl=en-US&q=debt&cid=TIMESERIES_GRAPH_0&export=5&w=500&h=300
以下是我用来下载HTML的代码,字符串url与上面相同,查询将是“债务”,再次来自上面的网址...
public static void Download(string url, string query)
{
WebClient webClient = new WebClient();
webClient.Credentials = CredentialCache.DefaultCredentials;
try
{
webClient.DownloadFile(url, @"C:\Users\Sean\Desktop\StockApp\StockApp\StockApp\KeywordLogs\" + query + "HTML.txt");
Console.WriteLine("[" + DateTime.Now.ToString("h:mm:ss tt") + "] Downloaded data for: " + query);
}
catch (Exception ex)
{
Console.WriteLine("[" + DateTime.Now.ToString("h:mm:ss tt") + "] Query:" + query);
Console.WriteLine(ex.InnerException);
}
}
我还在Brackeys论坛上发布了这个问题,该论坛链接在这里: http://forum.brackeys.com/thread/data-mining-issue-google-trends/
提前感谢所有帮助, Elucid