Question

scrapy可以在一系列搜索结果中保存网页，按照下一个按钮并保存下一个网页等吗？它总是需要遵循＆＃34; next＆＃34;按钮，没有别的。

这是链接到下一页的网址（混淆）：

erthdata .--- COM / full_record.do产物= UA＆安培;？search_mode = GeneralSearch＆安培; QID = 21＆安培; SID = d89sduisd＆安培; excludeEventConfig = ExcludeIfFromFullRecPage＆安培;页= 1＆安培; DOC = 4和; cacheurlFromRightClick =无

由于

约翰

Answer 1

肯定可以，有多种方式：

添加SgmlLinkextractor以关注下一个链接。
或者在您的函数中创建Request，例如yield（Request（url））

在您的情况下，url = erthdata.---.com/full_record.do?product=UA&search_mode=GeneralSearch&qid=21&SID=d89sduisd&excludeEventConfig=ExcludeIfFromFullRecPage&page=1&doc=4&cacheurlFromRightClick=无

Answer 2

你可以做类似的事情：

def parse(self, response):

    saveWebpage()

    if checkHasNextButton():

        yield Request(
            url=getNextUrl(),
            callback=self.parse
        )

可以通过跟随＆＃34; next＆＃34;按键

2 个答案: