彭博社C#抓取数据

时间:2018-08-20 01:40:24

标签: c# html web-scraping

我正在使用控制台应用程序从彭博社文章中获取HTML数据。如果我在Postman中运行它,它将全部拉回原位。我尝试了几种不同的方法(RestSharp,Net.Http),但是始终会收到OK响应,内容为“违反服务条款,如果您不是Robot,请单击复选框”。

    public static void GetUrlHtmlData(string urlRequest)
    {
        using (HttpClient client = new HttpClient())
        {
            using (HttpResponseMessage response = client.GetAsync("https://www.bloomberg.com/news/articles/2018-08-19/elon-musk-says-changing-his-way-of-working-is-not-an-option").Result)
            {
                using (HttpContent content = response.Content)
                {
                    string result = content.ReadAsStringAsync().Result;

                    Console.WriteLine(result);

                }
            }
        }
    }

我假设这是对此的预期响应,但想查看是否有人能够解决此问题。我只希望文章HTML能够解析元数据,并且无法解决这个问题。我知道这不是由于数量或多个请求。预先感谢!

0 个答案:

没有答案