如何检查Python中某个网页上是否出现新内容?

时间:2017-09-17 09:18:33

标签: python python-3.x beautifulsoup scrapy

我正在使用BS4& Scrapy。有没有办法检查是否有新的东西出现?如果是这样,是否可以复制和打印出来? 例如,here是一个足球比赛,因为我正在写这篇文章。每个得分的目标由玩家的名字,时间和足球(表示span icon soccer-ball)表示。我怎样才能每2分钟检查一次页面,如果有人进球就打印出来?

1 个答案:

答案 0 :(得分:1)

HTTP具有标头Last-Modified。 “Dive into Python”中Chapter 11. HTTP Web Services 的很大一部分致力于“如何不获取数据”

Scrapy:查看Downloader Middleware

的文档