Scrapy：无法在Jupyter Notebook脚本中重新运行，报告ReactorNotRestartable

Question

我的scrapy代码是这样的：

import scrapy
from scrapy.crawler import CrawlerProcess

class MovieSpider(scrapy.Spider):
    name = "movies"
    start_urls = [
        'https://movie.douban.com/subject/25934014/',
        'https://movie.douban.com/subject/25852314/',
    ]

    def parse(self, response):
        title = response.css('div#wrapper div#content h1 span::text').extract_first()
        year = response.css('div#wrapper div#content h1 span.year::text').extract_first()
        yield {
            'url': response.url,
            'title': title,
            'year': year,
        }

我像这样运行

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
    'FEED_FORMAT': 'json',
    'FEED_URI': 'movie.json',
    'FEED_EXPORT_ENCODING':'utf-8'
})

process.crawl(MovieSpider)
process.start() #

这是docs中的推荐方式。

问题是，在我运行上面的脚本后，我无法再次运行它。 Jupyter笔记本返回错误ReactorNotRestartable

如果我在jupyter中重新启动内核，那么第一次运行会很好。

我认为问题在Scrapy crawl from script always blocks script execution after scraping

中说明

我可以通过使用他们的代码来解决这个问题。但是，对于这么小的事情，他们的代码非常复杂，而且远非文档中推荐的CrawlerProcess方式。

我想知道是否有更好的方法来解决这个问题？

我尝试在脚本末尾添加process.stop()。它没有帮助。

Answer 1

在使用笔记本电脑时，我相信您必须遵循Running Scrapy as a Script中所述的方法之一。