谷歌趋势HTML有时只下载错误页面? (谷歌趋势数据挖掘)

时间:2017-05-31 06:50:19

标签: c# .net visual-studio data-mining google-trends

我希望通过C#中的HTML一起下载Google趋势图表。但是,当我第一次开始下载页面时,在大约6次成功下载后,他们开始发送错误页面。我不相信谷歌会限制我的下载量,因为当我在浏览器中查看网页时,它们显示得很好。有点混淆我怎么能从它工作到它突然导致问题......

以下是对正在发生的事情的看法。左侧的页面是带有错误页面的页面,右侧的页面是浏览器中的同一页面。所有单词都有相同的问题,他们不通过代码下载,但在浏览器中他们工作正常。

Imgur链接:http://i.imgur.com/ZC0sOoi.png

以下是我尝试从中获取数据的关键字的示例网址(图片中的一个): https://trends.google.com/trends/fetchComponent?hl=en-US&q=debt&cid=TIMESERIES_GRAPH_0&export=5&w=500&h=300

以下是我用来下载HTML的代码,字符串url与上面相同,查询将是“债务”,再次来自上面的网址...

public static void Download(string url, string query)
{
    WebClient webClient = new WebClient();
    webClient.Credentials = CredentialCache.DefaultCredentials;

    try
    {
        webClient.DownloadFile(url, @"C:\Users\Sean\Desktop\StockApp\StockApp\StockApp\KeywordLogs\" + query + "HTML.txt");
        Console.WriteLine("[" + DateTime.Now.ToString("h:mm:ss tt") + "] Downloaded data for: " + query);
    }
    catch (Exception ex)
    {
        Console.WriteLine("[" + DateTime.Now.ToString("h:mm:ss tt") + "] Query:" + query);
        Console.WriteLine(ex.InnerException);
    }
}

我还在Brackeys论坛上发布了这个问题,该论坛链接在这里: http://forum.brackeys.com/thread/data-mining-issue-google-trends/

提前感谢所有帮助, Elucid

0 个答案:

没有答案