Question

我想抓取使用linkedin进行人物搜索的结果。这是我的代码：

url='https://www.linkedin.com/search/results/people/?facetCurrentCompany=%5B%222525300%22%5D&facetGeoRegion=%5B%22fi%3A0%22%5D&keywords=python&origin=FACETED_SEARCH'
import bs4
import requests
res=requests.get(url)
soup=bs4.BeautifulSoup(res.text, 'lxml')

没有错误，但问题是，当我单击链接时，结果表明有一个人符合我的搜索条件。而且我在从Python代码生成的汤结果中找不到该人。

有人知道如何解决此问题吗？谢谢。

Answer 1

您正在尝试抓取数据，该数据仅适用于登录用户。

您应该使用官方的LinkedIn REST API并通过OAuth2进行身份验证。试试看：https://developer.linkedin.com/docs/rest-api

Answer 2

我将使用已经完成艰苦工作的开源，然后尝试根据自己的需要对其进行修改。例如：

https://github.com/ericfourrier/scrape-linkedin

注意：这仅适用于公共数据

Answer 3

Rest API方法不适合抓取，因为它有一些限制和限制。

使用Selenium进行自动化可以抓取尽可能多的数据，甚至可以使您在LinkedIn上执行操作。

对于抓取，我建议使用https://github.com/austinoboyle/scrape-linkedin-selenium。它满足了大多数需求，但到目前为止存在一些错误（因为LinkedIn经常更新其网站）。

我正在Flask后端here中使用修改后的版本

最好分叉库并根据需要使用抓取方法。

用python抓取linkedin人搜索

3 个答案: