捕获抓取蜘蛛状态（成功和失败）

Question

我刚刚开始使用scrapy。现在，我正在尝试将一些旧的爬网程序（简单的python请求）迁移到scrapy。

我正在努力的一件事是想出一种方法来捕获松散的蜘蛛的状态。在旧的爬网脚本中，我有一个称为 task 的装饰器，它将装饰脚本启动功能。代码段是这样的：

@task(task_name='tutorial',
      alert_name='tutorial')
def start():
    raw_data = download_data()
    data = parse(raw_data)
    push_to_db(data)

if if __name__ == "__main__":
    start() 

因此，此任务装饰器将根据脚本的运行状态发送成功或失败消息。

现在，我想将此装饰器用于刮擦蜘蛛。我正在努力找到合适的位置放置此装饰器，以便它可以从请求下载一直到管道捕获蜘蛛的运行状态。强>。

我使用以下命令启动蜘蛛：

scrapy crawl spider_name