增量抓取与重复抓取

时间:2019-02-10 11:15:46

标签: python-3.x web-scraping scrapy-spider

我每天都在出售分类广告网站。 为了提高效率,我认为进行增量抓取可以节省时间,但问题是URL可能相同,但是价格已经改变。 这是我的算法:

 Check existing URL      
    Content is still online and it is the same price - do not do anything                     
    Content is still online and the price changes - Rescrape content

在这种情况下,我该怎么办? 进行增量刮取所增加的复杂性真的值得吗?

0 个答案:

没有答案