Question

我正在创建一个相当复杂的API，它的部分功能是发出请求和抓取等等。我需要API使用的用户代理列表。例如，某人可能会点击我的API并请求使用最新的FireFox代理或IE 6或默认代理来抓取http://website.com。

我的问题是，是否有人知道我可以检索大量用户代理并定期更新我的列表的API？我找不到任何好的选择。

请，谢谢

Answer 1

您是否考虑使用网页抓取？以下是C＃中的一些简单的抓取代码，它从此网站获取列表9388用户代理：http://www.useragentstring.com/pages/Browserlist/

        WebClient web = new WebClient();
        string url = "http://www.useragentstring.com/pages/Browserlist/";
        HtmlWeb webget = new HtmlWeb();
        HtmlAgilityPack.HtmlDocument  currentHTML = webget.Load(url);
        var nodesIE = currentHTML.DocumentNode.SelectNodes(@"//li//a");
        List<string> userAgentList = new List<string>();
        foreach (var node in nodesIE)
        { userAgentList.Add(node.InnerHtml); }

您需要htmlagilitypack来运行代码（或者您可以在文本上创建自己的正则表达式）

我在哪里可以获得用户代理列表？理想情况下是API

1 个答案: