Question

我是django的新手。我试图通过django视图运行我的scrapy蜘蛛。当我运行命令提示符时，我的scrapy代码工作正常。但是当我尝试在django上运行它时失败了。错误消息：信号仅在主线程中有效。

我在django视图中的代码（以下）

from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.crawler import CrawlerProcess
from scrapy import log, signals
from Working.spiders.workSpider import WorkSpider
from scrapy.settings import Settings
from scrapy.utils.project import get_project_settings

spider = WorkSpider(domain='scrapinghub.com')
crawler = CrawlerProcess(Settings())
crawler.start()
crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
crawler.configure()
crawler.crawl(spider)
crawler.start()
log.start()
reactor.run()

请帮我解决这个问题。谢谢

Answer 1

错误基本上表明你不在主线程中，因此不处理信号。

从CrawlerProcess切换到CrawlerRunner解决了我的问题（我想在CrawlerRunner中你在主线程中）http://doc.scrapy.org/en/latest/topics/api.html#scrapy.crawler.CrawlerRunner

希望这可以帮助你

信号仅在主线程中有效

1 个答案: