我想知道我们可以从使用Python在页面上生成的弹出窗口中抓取特定字段的数据吗?如果是,请建议。
我正在试图抓它,但它没有被检测到并返回一个空列表。我正在使用Python和Beautiful soup来完成这项工作。
答案 0 :(得分:1)
您不能将scrapy
用于JS
您也可以使用ScrapyJS
解决问题:
This library provides Scrapy+JavaScript integration using Splash.
按照Splash
和ScrapyJS
的安装说明操作,
READ the answer here
OR
您可以使用Selenium:
按照安装说明Selenium Doc
进行操作