使用scrapy刮取无限滚动网站?

时间:2019-11-12 23:57:39

标签: python html json selenium scrapy

我正在尝试从此网站https://www.heritagefuneral.com/obituaries/抓取记录 它使用无限滚动,但正在发出ajax请求,该请求返回json数据。 json数据中有一个关键值,它是'html':“ ”他们从字面上将所有html代码放入json响应中。所以我想我的问题是我将如何解析json数据然后抓取html标记中需要的信息? 我目前正在尝试使用草木和硒。

0 个答案:

没有答案