我有一只蜘蛛可以帮助我从网上收集数据。 我需要这个蜘蛛每小时自动开始工作。 我试图使用闭合信号来产生一个新的请求,但似乎它在关闭信号后无效。
def __init__(self):
dispatcher.connect(self.spider_closed, signals.spider_closed)
def spider_closed(self, reason):
time.sleep(3600)
link="http://www.google.com"
request=Request(url=link, dont_filter=True,callback=self.parse_item)
yield request
如果有人可以帮助我,那将是很好的