当您使用 scrapyd 计划运行时，是否有办法获取运行的蜘蛛实例？我需要访问蜘蛛中的属性以在运行之外处理，并且不能使用json / csv文件来执行此操作。
答案 0 :(得分：0)
我在here找到了我需要的内容：使用spider_close方法在蜘蛛关闭之前运行我需要的代码。
您需要将以下内容添加到管道的__init__方法中（否则它永远不会收到spider_closed信号）：
dispatcher.connect(self.spider_opened, signals.spider_opened)
dispatcher.connect(self.spider_closed, signals.spider_closed)