Question

我正在尝试从Linkedin抓取用于个人数据抓取练习的数据。但是我不能在没有登录的情况下抓取数据。所以我用两种方式来模拟登录。一种是从HttpClient获取cookie，它将尝试进行模拟登录以获取cookie。另一种是直接添加cookie。但我都失败了。我不知道原因。我使用Framework Webmagic进行数据爬网。通常，直接添加Cookies将是一种简单的方法。但我不知道我是否添加了错误的cookie。这就是事情。我想从网站https://www.linkedin.com/mynetwork/invite-connect/connections/获取数据我在这个页面添加了所有的cookie。

这是所有的cookies。

private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
site.setCharset("utf-8")
   .setUserAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36")
   .addHeader("accept","text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8")
   .addHeader("accept-encoding","gzip, deflate, br")
   .addHeader("accept-language:en-US","en;q=0.8")
   .addHeader("connection", "keep-alive")
   .addHeader("referer","https://www.linkedin.com/")
   .addCookie(".linkedin.com","lidc", "b=TB91:g=750:u=38:i=1503815541:t=1503895683:s=AQE5xZLW6mVmRdHBY9qNO-YOiyAnKtgk")
   .addCookie(".linkedin.com","lang", "v=2&lang=en-us")
   .addCookie(".linkedin.com","_lipt", "CwEAAAFeIo5-jXjgrpSKF4JfxzNbjC6328JPUgtSHQIKtSDyk4Bockuw84uMkCwbKS0TzUOM_w8Al4s9YjFFF-0T43TPtfG_wv-JNVXsPeO8mVxaYwEcTGiyOdyaRZOCIK7qi02EvZUCtjsaTpAos60U4XrFnu1FO-cY1LrzpqDNUmfrqWJPjSoZpOmjeKtTh-nHcdgpruvjf237E78dqMydLLd1A0Uu7Kr7CmNIurXFd9-Z4hwevLRd3SQMEbSRxAwCclgC4tTzEZ5KoFmpI4veKBFGOqF5MCx3hO9iNRdHrJC44hfRx-Bw7p__PYNWF8sc6yYd0deF-C5aJpronFUYp3vXiwt023qm6T9eRqVvtH1BRfLwCZOJmYrGbKzq4plzNKM7DnHKHNV_cjJQtc9aD3JQz8n2GI-cHx2PYubUyIjVWWvntKWC-EUtn4REgL4jmIaWzDUVz3nkEBW7I3Wf6u2TkuAVu9vq_0mW_dTVDCzgASk")
   .addCookie(".linkedin.com","_ga", "GA1.2.2091383287.1503630105")
   .addCookie(".www.linkedin.com","li_at", "AQEDAReIjksE2n3-AAABXiKOYVQAAAFeRprlVFYAV8gUt-kMEnL2ktiHZG-AOblSny98srz2r2i18IGs9PqmSRstFVL2ZLdYOcHfPyKnBYLQPJeq5SApwmbQiNtsxO938zQrrcjJZxpOFXa4wCMAuIsN")
   .addCookie(".www.linkedin.com","JSESSIONID", "ajax:4085733349730512988")
   .addCookie(".linkedin.com","liap", "true")
   .addCookie(".www.linkedin.com","sl","v=1&f68pf")
   .addCookie("www.linkedin.com","visit", "v=1&M")
   .addCookie(".www.linkedin.com","bscookie", "v=1&201708250301246c8eaadc-a08f-4e13-8f24-569529ab1ce0AQEk9zZ-nB0gizfSrOSucwXV2Wfc3TBY")
   .addCookie(".linkedin.com","bcookie", "v=2&d2115cf0-88a6-415a-8a0b-27e56fef9e39");

我错过了什么吗？

Answer 1

LinkedIn非常难以抓取，不仅仅是技术上，还有sue people who do。

当他们将IP检测为可能的机器人时，他们会为您提供登录页面。他们为机器人所知的大多数IP地址现在都在提供登录页面。新范围不会持续很长时间。

他们可能只是非常自信你是一个机器人并且阻止你登录。

从Linkedin

1 个答案: