是否可以使网页抓取工具使用插件(在Chrome的扩展栏中)?

时间:2018-10-10 13:47:06

标签: python plugins web-scraping automation web-crawler

具体来说,我想制作一个Python网络爬虫,该爬虫使用Chrome上名为“ Adapt Prospector”的插件,通过该插件,您可以在访问人员的登录页面后找到他们的电子邮件。这是我的意思的示例:

https://i.postimg.cc/DyxWzxWJ/example_pic.png

您首先进入此人的linkedin页面,然后单击Chrome扩展栏上的插件徽标,然后该插件将向您显示linkedin个人资料的电子邮件(如果有的话)。

基本上,我想创建一个程序,该程序转到一个人的linkedin页面,然后单击扩展栏上的插件徽标,然后抓取该插件显示的数据。

我当然知道如何做第一部分,但是我不确定最后两部分是否可行。我广泛搜索了是否可以制作使用插件的网络抓取工具,但是我没有找到任何“是”或“否”的答案。

1 个答案:

答案 0 :(得分:1)

您可以尝试:

  • 使用浏览器控制台的“网络”选项卡查找哪个请求提供您所需的信息。然后使用您喜欢的python库执行相同的请求

  • 使用硒,其行为或多或少与您的浏览器类似,请转到该人的linkedin页面,并且该信息应位于页面的某个位置,甚至可能是隐藏的。

您的插件只是重新组织它在页面上找到的信息。 Linkedin向您的浏览器提供您所需的所有信息。

编辑:Using Extensions with Selenium (Python),您可以尝试一下,但是我认为没有扩展名的硒也可以做得到