scrapy附加到linkextractor链接

Question

我正在使用CrawlSpider与LinkExtractor抓取链接。

如何将参数附加到LinkExtractor找到的链接？我想在'?pag_sortorder=0&pag_perPage=999'提取的每个链接中添加LinkExtractor。

Answer 1

这是使用process_value argument的完美用例：

from scrapy.contrib.linkextractors import LinkExtractor

addition = "?pag_sortorder=0&pag_perPage=999"

LinkExtractor(process_value=lambda x: x + addition)