在JS Pop Up Python中抓取数据

时间:2017-02-10 07:16:49

标签: python web-scraping beautifulsoup

我想知道我们可以从使用Python在页面上生成的弹出窗口中抓取特定字段的数据吗?如果是,请建议。

我正在试图抓它,但它没有被检测到并返回一个空列表。我正在使用Python和Beautiful soup来完成这项工作。

1 个答案:

答案 0 :(得分:1)

您不能将scrapy用于JS

您也可以使用ScrapyJS解决问题:

This library provides Scrapy+JavaScript integration using Splash.

按照SplashScrapyJS的安装说明操作, READ the answer here

  

OR

您可以使用Selenium

按照安装说明Selenium Doc

进行操作