如何在Scrapy中使用不同的参数多次访问URL？

Question

我的解析函数为：

def parse(self,response):
    a = list(map(chr, range(97,123)))
    for i in a:
        yield FormRequest.from_response(
            response,
            formdata = {'posted':'posted', 'LastName':i, 'distance':'0', 'current_page':'2'},
            callback = self.after
        )

这里我发送的请求是相同的URL但具有不同的LastName参数，如上所示。但它没有回复我的所有要求。相反，它只检索字母＆＃39; Q＆＃39;的结果。如何强制它每次访问具有不同参数的相同URL？

Answer 1

您需要在dont_filter = True上设置FormRequest。

yield FormRequest.from_response(
    response,
    formdata = {'posted':'posted', 'LastName':i, 'distance':'0', 'current_page':'2'},
    callback = self.after,
    dont_filter=True
)

有关详情，请参阅http://doc.scrapy.org/en/latest/topics/request-response.html。