Question

我正在努力避免对我的爬虫蜘蛛进行硬编码。

作为练习，我从Wikipedia抓取文本时，收到的文本中包含不必要的数据，例如\n和[1],[2],...,[5]。

import scrapy
from scrapy.utils.markup import remove_tags


class Wiki_BD_Spider(scrapy.Spider):
    name = 'wiki_black_death'

    start_urls = ['https://en.wikipedia.org/wiki/Black_Death']

    def parse(self, response):
        data = response.xpath('//div[@class = "mw-parser-output"]/p[2]').extract()

        for item in data:
            yield {
                'history': remove_tags(item).replace('\n', '').replace('[1]', '').replace('[2]', '').replace('[3]', '').replace('[4]', '').replace('[5]', '')
            }

结果输出是我希望达到的结果，但是，有没有一种更好的方法可以使for循环中的代码更小？

Answer 1

当然，您可以使用re.sub清除输出，请尝试下一个代码：

import scrapy, re
from scrapy.utils.markup import remove_tags


class Wiki_BD_Spider(scrapy.Spider):
    name = 'wiki_black_death'

    start_urls = ['https://en.wikipedia.org/wiki/Black_Death']

    def parse(self, response):
        yield {'history': re.sub('\[[0-9]\]','',remove_tags(response.xpath('//div[@class = "mw-parser-output"]/p[2]').extract_first().replace('\n', '')))}

有没有办法最小化这种沙哑蜘蛛的长度

1 个答案: