如何在Scrapy中存储响应？

Question

我想在scrapy中存储请求的响应。我暂时拥有以下代码。

     yield Request(requestURL,
                   callback=self.afterResponse)

现在我想在响应到达时不要调用afterResponse函数，而是以某种方式存储它，以便我可以在同一个地方提取响应数据。

Answer 1

在该蜘蛛中创建一些变量（如果你需要保留更多数据，它可以是偶数列表）并将数据保存在其中。

或创建/打开某个文件并将其写为pickle或其他内容。