Question

我制作了一个简单的Scrapy抓取工具，可以在我的城市中获取房价广告。

它收集以下数据：AD TITLE，PRICE和URL。然后输出CSV文件。

我每周运行抓取工具，我希望将最新的CSV文件与之前的CSV文件进行比较，以检查是否有任何广告被删除。如果他们有，我希望将今天的日期包含在CSV文件输出的最后一列中。

我不知道是否可以使用CSV文件，或者此作业是否需要数据库。我也不知道是否需要创建项目管道。

这是我目前的蜘蛛代码。

import scrapy


class ExampleSpider(scrapy.Spider):
    name = 'example'

    start_urls = [
        'http://www.example.com/'
        ]

    def parse(self, response):
        for item in response.css('li.item a.list-link::attr(href)').extract():
            yield scrapy.Request(item, callback=self.parse_item)

        next_page = response.xpath('//a[@title="Next page"]/@href').extract_first()

        if next_page is not None:
            yield scrapy.Request(next_page, callback=self.parse)

    def parse_item(self, response):
        title = response.css('h1.ad-title::text').extract_first()
        price = response.css('span.price::text').extract_first()

        yield {
            'TITLE': title,
            'PRICE': price,
            'URL': response.url
        }

Answer 1

您可以使用csv（或任何其他数据结构）。

让你想象你曾经爬过两次现在你需要文件：

$ cat items1.csv 
some_url, foo1, bar1
some_url2, foo2, bar2
some_url3, foo3, bar3

$ cat items2.csv 
some_url, foo1, bar1
some_url3, foo3, bar3

我们可以做的是从这些文件中加载所有网址，将值转换为python set并在两个集合上调用set.difference，以查看数据集的不同之处。

import csv
def read_file(filename)
    with open(filename, 'r') as csvfile:
        csvreader = csv.reader(csvfile)
        urls = [row[0] for row in csvreader]
        return set(urls)

urls1 = read_file('items1.csv') 
# returns {'some_url', 'some_url2', 'some_url3'}
urls2 = read_file('items2.csv') 
# returns {'some_url', 'some_url3'}

# find the difference
deleted_urls = urls1.difference(urls2)
#returns: {'some_url2'}

Scrapy：如何检查先前已删除的页面是否已被删除？

1 个答案: