从下一页抓取数据不会更改URL

时间:2018-06-27 04:20:40

标签: python html web-crawler

我正在尝试更改此site中的页面以抓取信息。但是当我单击下一页时,它不会更改URL:

直到现在我的代码:

[...]
paging = response.css('span id.next::attr(href)').extract()
    if paging:
        yield scrapy.Request(paging, callback=self.parse_links) 

我不知道如何从这样的网站进行爬网。请帮助我,谢谢

1 个答案:

答案 0 :(得分:1)

Network next page request 您可以在下一页http://vsd.vn/ModuleArticles/ArticlesList/NextPageHDNVTCPH?pCurrentPage=2

中尝试此请求

这是返回下一页数据